[論文レビュー] Generalized K-fan Multimodal Deep Model with Shared Representations

Gang Chen, Sargur N. Srihari|arXiv (Cornell University)|Mar 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 5

ひとこと要約

本稿では、共有の深層表現を介して複数の入力および出力に対応するように拡張された一般化されたKファン深層マルチモーダルモデルを提案する。事前学習には対照的発散（contrastive divergence）を、識別的微調整には誤差逆伝播法（backpropagation）を用い、共同の視覚的修復およびラベリング、およびマルチビュー・マルチクラス物体認識のタスクで最先端の性能を達成し、マルチモーダルDBMおよびSVMのベースラインを上回った。

ABSTRACT

Multimodal learning with deep Boltzmann machines (DBMs) is an generative approach to fuse multimodal inputs, and can learn the shared representation via Contrastive Divergence (CD) for classification and information retrieval tasks. However, it is a 2-fan DBM model, and cannot effectively handle multiple prediction tasks. Moreover, this model cannot recover the hidden representations well by sampling from the conditional distribution when more than one modalities are missing. In this paper, we propose a K-fan deep structure model, which can handle the multi-input and muti-output learning problems effectively. In particular, the deep structure has K-branch for different inputs where each branch can be composed of a multi-layer deep model, and a shared representation is learned in an discriminative manner to tackle multimodal tasks. Given the deep structure, we propose two objective functions to handle two multi-input and multi-output tasks: joint visual restoration and labeling, and the multi-view multi-calss object recognition tasks. To estimate the model parameters, we initialize the deep model parameters with CD to maximize the joint distribution, and then we use backpropagation to update the model according to specific objective function. The experimental results demonstrate that the model can effectively leverages multi-source information and predict multiple tasks well over competitive baselines.

研究の動機と目的

• 既存の2ファンマルチモーダルモデルが複数の予測タスクや複数の欠損モダリティを効果的に処理できないという制限を解消すること。
• 画像、テキスト、動画などのK種類の異なる入力モダリティ間で共有表現を学習可能な柔軟な深層アーキテクチャの開発。
• 統一されたKファン構造を用いて、データ修復と分類といった複数のタスクを共同で学習可能にし、識別的微調整を実施すること。
• 共有表現層を通じて複数の情報源を統合することで、ノイズや不完全なデータ下でもマルチモーダル学習のロバスト性と性能を向上させること。

提案手法

• モデルはK個の別々のブランチからなるKファン深層構造を採用し、各ブランチがDBN、CNN、LSTMなどの深層モデルを用いて異なるモダリティを処理する。
• 共有隠れ層がすべてのモダリティにわたる統合表現を学習し、マルチモーダル統合と共同推論を可能にする。
• モデルのパラメータは、観測された入力の同時尤度を最大化するために、対照的発散（CD）を用いて初期化される。
• タスク固有の目的関数（例：修復とラベリングのための同時損失、マルチビュー認識のための分類損失）を用いて、誤差逆伝播法による微調整が実施される。
• マルチタスク学習やマルチソース分類に適した柔軟な目的関数をサポートし、さまざまなマルチモーダル問題への適応を可能にする。
• 推論は順方向伝播により実行され、一部の入力が欠損している場合でも、複数の出力に対する効率的な予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 一般化されたKファン深層モデルは、複数の入力モダリティと複数の出力予測タスクを同時に効果的に処理できるか？
• RQ2 推論時に複数のモダリティが欠損している場合、モデルは隠れ表現をどれほど効果的に回復できるか？
• RQ3 識別的微調整フレームワークにおいて共有表現を用いることで、生成的モデルのみに比べて、共同修復およびラベリングタスクの性能が向上するか？
• RQ4 マルチビュー情報を取り入れることで、マルチクラス物体認識タスクにおける分類精度はどの程度向上するか？

主な発見

• 重度に損傷を受けるMNIST数字データセットでは、提案手法がPSNR 18.6 dB、誤差率12.7%を達成し、ウィーナー法（11.7 dB、58.5%）、RoBM（13.9 dB、52.6%）、DAE（13.58 dB、35.9%）のベースラインを顕著に上回った。
• タイプ2ノイズを含むUSPSアルファベットデータセットでは、モデルが19.6 dBのPSNRと32.8%の誤差率を達成し、ウィーナー法（14.2 dB、67.8%）、RoBM（16.3 dB、62.8%）、DAE（19.2 dB、42.5%）の手法を上回った。
• マルチビュー・マルチクラス物体認識タスクでは、モデルが4.80%の誤差率を達成し、マルチビューなしのSVM（9.59%）、マルチビューありのSVM（6.92%）、マルチモーダルDBM（7.10%）を上回った。
• 結果から、生成的事前学習段階に加えて識別的微調整段階が性能を顕著に向上させていることが示され、特に分類およびノイズ除去タスクで顕著であった。
• モデルは多様な情報源を効果的に活用しており、追加のカメラビュー情報が分類精度を向上させることを示しており、マルチビュー入力の有効性を裏付けた。