[論文レビュー] Deep Matching Autoencoders

Tanmoy Mukherjee, Makoto Yamada+1 more|arXiv (Cornell University)|Nov 16, 2017

Multimodal Machine Learning Applications参考文献 38被引用数 13

ひとこと要約

Deep Matching Autoencoders (DMAE) は、深層オートエンコーダーとカーネルターゲットアライメント (KTA) や二乗損失相互情報量 (SMI) などの統計的依存度測度を用いて、ペア化されていないマルチモーダルデータから共有潜在表現とオブジェクトペアリングを同時に学習する。この手法により、教師あり、半教師あり、完全教師ありのクロスモーダル学習が有効に可能となり、画像キャプションタスクで最先端の性能を達成するとともに、ペアデータが存在しない状況でもアノテーションなしで分類器を学習するという新しい教師なし分類器学習タスクを実現し、AwAデータセットで32%の精度を達成した。

ABSTRACT

Increasingly many real world tasks involve data in multiple modalities or views. This has motivated the development of many effective algorithms for learning a common latent space to relate multiple domains. However, most existing cross-view learning algorithms assume access to paired data for training. Their applicability is thus limited as the paired data assumption is often violated in practice: many tasks have only a small subset of data available with pairing annotation, or even no paired data at all. In this paper we introduce Deep Matching Autoencoders (DMAE), which learn a common latent space and pairing from unpaired multi-modal data. Specifically we formulate this as a cross-domain representation learning and object matching problem. We simultaneously optimise parameters of representation learning auto-encoders and the pairing of unpaired multi-modal data. This framework elegantly spans the full regime from fully supervised, semi-supervised, and unsupervised (no paired data) multi-modal learning. We show promising results in image captioning, and on a new task that is uniquely enabled by our methodology: unsupervised classifier learning.

研究の動機と目的

• 実世界の応用ではしばしば入手困難または希少であるペア化された学習データを必要とする従来のクロスモーダル学習手法の制限を克服すること。
• ペア化されていないデータから、同時に表現学習とクロスビュー間のオブジェクトマッチング最適化が可能な深層表現学習フレームワークの開発。
• 一様なフレームワークを用いて、完全教師あり、半教師あり、教師なしの全範囲の教師信号に対応した有効な学習を可能にすること。
• 画像とカテゴリのペアが提供されない状況でも、画像と埋め込みプールから名前付きカテゴリの分類器を学習するという、新しいタスク「教師なし分類器学習（UCL）」を導入・解決すること。
• 先行研究で用いられるトロイデータセットを超えて、現実世界のビジョンおよび言語データに対して、本手法のスケーラビリティと有効性を実証すること。

提案手法

• 各モダリティ（例：画像とテキスト）に対して深層オートエンコーダーを採用し、再構成誤差を最小化することで、コンactかつ分離可能な表現を学習する。
• ペア化されていないインスタンス間の未知のクロスビュー対応関係をモデル化するための潜在的置換行列を導入する。
• カーネルターゲットアライメント（KTA）と二乗損失相互情報量（SMI）といった統計的依存度測度を用いて、ペアリング行列を最適化し、クロスモーダル依存度を最大化する。
• バックプロパゲーションにより、オートエンコーダーとペアリング行列をエンドツーエンドで同時に学習させ、相互に改善を促進する：より良い表現はより良いペアリングをもたらし、より良いペアリングは表現品質を向上させる。
• 推定されたペアリング行列を用いて、教師なし設定下で下流分類器（例：SVM）を学習させ、新しい教師なし分類器学習（UCL）タスクを実現する。
• 完全教師あり（完全なペアリングあり）、半教師あり（部分的なペアリングあり）、教師なし（ペアリングなし）の複数の学習レジームを、同一の統一アーキテクチャでサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、ペア化されていないマルチモーダルデータから意味のある表現とオブジェクトペアリングを同時に学習できるか？
• RQ2 ペア化された学習データが全くない状況下でも、本手法は意味のあるアライメントを達成できるか？
• RQ3 既存の代替手法と比較して、本手法はペア化されていないデータをどれほど効果的に活用し、半教師ありおよび教師なし設定での性能向上に寄与できるか？
• RQ4 本フレームワークは、画像とカテゴリのペアが提供されない状況でも、分類器を学習するという新しい学習パラダイム「教師なし分類器学習」を可能にするか？
• RQ5 表現学習とペアリングの共同最適化は、別個または逐次的なアプローチと比較して、クロスモーダル学習タスクでより優れた性能を達成するか？

主な発見

• AwAデータセットにおいて、DMAE-SMIは初期ペアリングなしの教師なし設定下で、真のペアリング行列推定において精度が0.90、再現率が0.84を達成した。
• AwAにおける教師なし分類器学習（UCL）タスクでは、ラベル付き画像・カテゴリペアが提供されない状況で、DMAE-SMIは32%のテスト精度を達成した。これは2%のランダムベースラインよりも顕著に高い。
• CIFAR-10では、DMAE-SMIは10-40-10の半教師あり設定（1万件ラベル付き、4万件ラベルなし）で86%の精度を達成し、Deep-MCCA（40%）やMCCA（26%）といった代替手法を上回った。
• 推論的半教師あり設定では、非推論的ベースラインと比較してDMAE-SMIが最大6%の向上を示し、ラベルなしテストデータの有効活用を実証した。
• 訓練イテレーションの経過とともに、ペアリング精度が単調に向上し、MCCA や Deep-MCCA と比較して、DMAE-SMI はより速く収束し、より高い性能に到達した。
• 画像キャプションベンチマークでは、DMAEはDeepCCA や二本のブランチマッチングネットワークといった最先端手法と同等の性能を示し、教師あり設定下での有効性を裏付けた。