[論文レビュー] Multimodal Transfer Deep Learning with Applications in Audio-Visual Recognition

Seungwhan Moon, Suyoun Kim+1 more|arXiv (Cornell University)|Dec 9, 2014

Speech and Audio Processing参考文献 13被引用数 29

ひとこと要約

本論文は、中間層の埋め込みを介して事前学習済み音声ネットワークから動画認識ネットワークへ知識を転送するマルチモーダル転移深層学習フレームワークを提案する。この手法により、リソースが限られた動画タスクにおいて性能向上が達成される。特に、高層のネットワーク層でKNNベースの埋め込み転送を用いることで、唇読みベンチマークにおける顕著な精度向上が得られた。

ABSTRACT

We propose a transfer deep learning (TDL) framework that can transfer the knowledge obtained from a single-modal neural network to a network with a different modality. Specifically, we show that we can leverage speech data to fine-tune the network trained for video recognition, given an initial set of audio-video parallel dataset within the same semantics. Our approach first learns the analogy-preserving embeddings between the abstract representations learned from intermediate layers of each network, allowing for semantics-level transfer between the source and target modalities. We then apply our neural network operation that fine-tunes the target network with the additional knowledge transferred from the source network, while keeping the topology of the target network unchanged. While we present an audio-visual recognition task as an application of our approach, our framework is flexible and thus can work with any multimodal dataset, or with any already-existing deep networks that share the common underlying semantics. In this work in progress report, we aim to provide comprehensive results of different configurations of the proposed approach on two widely used audio-visual datasets, and we discuss potential applications of the proposed approach.

研究の動機と目的

• ラベル付き音声データは豊富だが動画データが不足しているマルチモーダル学習におけるデータの不均衡を解消すること。
• ターゲットモダリティに同期データを必要とせずに、ソースモダリティ（音声）からターゲットモダリティ（動画）へ知識を転送すること。
• 再訓練やアーキテクチャの変更なしに、ターゲットネットワークのトポロジーを柔軟に微調整できるフレームワークの開発。
• 深層ネットワークの中間層からの意味的表現を、異なるモダリティ間で転送する有効性を実証すること。
• 実世界の音声・映像データセットを用いて、リソースが限られた環境下での性能向上を評価すること。

提案手法

• 少量の同期音声・映像データを用いて、音声と映像ニューラルネットワークの中間層表現（H_A^(i) と H_V^(i)）間の類似性を保つ埋め込みを学習する。
• KNN、NCCA、SVR の3つの埋め込み手法を用い、音声特徴を映像ネットワークの隠れ層の意味的空間へマッピングする。
• TDLFT(i) を用いて、元のネットワークアーキテクチャを保持したまま、層 i から開始してターゲット動画ネットワーク（N_V）を微調整する。
• 2段階の訓練プロセスを採用：まず音声と映像ネットワークを同期データで事前学習し、その後、転送された音声特徴を用いて映像ネットワークを微調整する。
• TDLFT(i) を用いて、層 i（i=0：入力層から i=3：中間層）までを段階的に微調整し、転送深度の影響を評価する。
• AV-Letters およびスタンフォードの唇読みデータセットで5分割交差検証を実施し、単モダリティ、TDL、およびオラクルベースラインと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 動画データが不足している状況下で、事前学習済み音声ネットワークの知識を動画認識ネットワークへ効果的に転送できるか？
• RQ2 KNN、NCCA、SVR のうち、どの埋め込み手法が転送学習における音声と映像表現の意味的整合性を最も効果的に実現するか？
• RQ3 どのネットワーク層で知識転送を実施すれば、ターゲットモダリティにおける性能向上を最大限に得られるか？
• RQ4 提案されたTDLフレームワークの性能は、単モダリティベースラインおよびオラクル上界と比べてどのように異なるか？
• RQ5 入力層（原始的特徴）ではなく中間層からの表現転送は、リソースが限られたターゲットタスクにおける一般化性能を向上させるか？

主な発見

• KNNベースの埋め込み転送と層3での微調整（TDLFT(3)）により、AV-Lettersデータセットで61.7%の精度を達成し、単モダリティベースラインの51.1%を顕著に上回った。
• スタンフォードデータセット（49ラベル）では、TDLFT(3)にKNNを適用した結果、61.3%の精度を記録。単モダリティベースラインの54.9%を上回り、一貫した向上が確認された。
• 両データセットにおいて、KNNベースの埋め込み手法がNCCAおよびSVRを上回り、クロスモダリティ転送における意味的構造の保持に有効であることが示された。
• 入力層での転送と微調整（TDLFT(0)）は著しく性能が低かった（例：AV-Lettersで34.4%）。これは、原始的特徴空間での転送が非現実的で有害であることを示している。
• オラクル上界（完璧な転送）は最高の性能（例：スタンフォードで68.2%）を達成しており、より優れた埋め込み手法によりTDLの結果をさらに向上できる可能性がある。
• 高層の層（例：i=3）からの転送データを用いた微調整は一貫した向上をもたらしたが、低層（i=0）での転送は原始的入力空間での整合性が悪く、性能を低下させた。