[論文レビュー] Deep Multimodal Representation Learning from Temporal Data

Xitong Yang, Palghat Ramesh+4 more|arXiv (Cornell University)|Apr 11, 2017

Music and Audio Processing参考文献 23被引用数 12

ひとこと要約

本論文では、自己注意メカニズムを用いた新しい深層学習モデル、CorrRNN を提案する。このモデルは、GRUに基づくエンコーダ・デコーダフレームワークに、マルチオブジェクティブ損失関数と動的モダリティ重み付けを組み合わせることで、マルチモーダルな時系列表現学習において、クロスモダリティ相関と時系列依存関係を同時に捉える。音声・視覚認識およびマルチモーダルなアクティビティ分類のタスクで最先端の性能を達成しており、動画、音声、センサ信号などの時系列データを効果的に統合しながら、ノイズに対して耐性がある。

ABSTRACT

In recent years, Deep Learning has been successfully applied to multimodal learning problems, with the aim of learning useful joint representations in data fusion applications. When the available modalities consist of time series data such as video, audio and sensor signals, it becomes imperative to consider their temporal structure during the fusion process. In this paper, we propose the Correlational Recurrent Neural Network (CorrRNN), a novel temporal fusion model for fusing multiple input modalities that are inherently temporal in nature. Key features of our proposed model include: (i) simultaneous learning of the joint representation and temporal dependencies between modalities, (ii) use of multiple loss terms in the objective function, including a maximum correlation loss term to enhance learning of cross-modal information, and (iii) the use of an attention model to dynamically adjust the contribution of different input modalities to the joint representation. We validate our model via experimentation on two different tasks: video- and sensor-based activity classification, and audio-visual speech recognition. We empirically analyze the contributions of different components of the proposed CorrRNN model, and demonstrate its robustness, effectiveness and state-of-the-art performance on multiple datasets.

研究の動機と目的

• 動画、音声、センサ信号などの複数の時系列モダリティを統合する際、それらの内在的な時系列依存関係とクロスモダリティ相関を保持する課題に対処すること。
• 音声・視覚データにとどまらず、一般化可能な教師なし深層学習フレームワークを構築し、時系列マルチモーダル学習に適用可能とすること。
• 各モダリティの共同表現への寄与度に基づいて、入力モダリティの重みを動的に調整することで、ノイズやモダリティ固有の劣化に対して耐性を高めること。
• RTMRBM や CRBM のような従来の確率的モデルと比較して、より効率的かつ扱いやすい学習を可能とすること。
• アクティビティ分類や音声認識を含む、多様な時系列統合タスクにおいて、モデルの有効性を実証すること。

提案手法

• 長期間の時系列依存関係をモデル化するため、ゲート付き再帰ユニット（GRUs）に基づくエンコーダ・デコーダ RNN アーキテクチャを採用する。
• 情報保持のための再構成損失と、クロスモダリティ整合性を向上させるための最大相関損失を組み合わせたマルチアスペクト損失関数を用いる。
• エンコーダに動的重み付け機構を統合し、入力の関連性に基づいて特徴学習中に各モダリティの寄与度を適応的に調整する。
• 共同表現は教師なしで学習されるため、事前学習にラベル付きデータへの依存が低減される。
• 再構成誤差を最小化し、モダリティ間の相関を最大化するという目的で、時間方向に逆誤差伝搬（backpropagation through time）を用いてエンドツーエンドで学習する。
• 融合特徴の質と一般化性能を評価するため、クロスモダリティおよび共有表現学習を評価する。

実験結果

リサーチクエスチョン

• RQ1 非時系列統合モデルと比較して、深層ニューラルネットワークがマルチモーダル時系列データにおいて、時系列依存関係とクロスモダリティ相関をより効果的に同時に学習できるか？
• RQ2 最大相関損失項の統合が、マルチモーダル時系列統合における共同表現学習にどのように寄与するか？
• RQ3 動的モダリティ重み付けが、ノイズが多いまたは信頼性の低い入力モダリティに対して、どの程度耐性を高めるか？
• RQ4 CorrRNN モデルは、音声・視覚認識を越えて、さまざまな時系列マルチモーダルタスクに効果的に一般化できるか？
• RQ5 精度とノイズ耐性の観点から、RTMRBM や CRBM、および深層オートエンコーダーといった最先端手法と比較して、モデルの性能はどの程度か？

主な発見

• AVLetters データセットでは、CorrRNN は分類精度 83.40% を達成し、MDAE（62.04%）、MDBN（63.2%）、MDBM（64.7%）、RTMRBM（66.04%）、CRBM（67.10%）を大きく上回った。
• CUAVE データセットでは、CorrRNN は 95.9% の精度を達成し、MDAE（66.70%）、MDBN（67.20%）、MDBM（69.00%）、CRBM（69.10%）をすべて上回った。
• クロスモダリティ学習では、音声で学習し、動画でテストした場合、CorrRNN は 85.33% の精度を示し、優れた一般化性能とクロスモダリティ整合性を示した。
• 共有表現学習では、両モダリティで学習し、動画でテストした場合、CorrRNN は 96.77% の精度を達成し、高品質な共同表現学習を示した。
• 0dB SNR の白色ガウスノイズ条件下でも、CorrRNN の精度低下はわずか 5.23% にとどまり、ベースラインモデルと比較して 12–20% の低下と比べて顕著な耐性を示した。
• すべての評価設定において、モデルの性能は一貫して優れており、マルチオブジェクティブ損失関数と動的重み付け機構の有効性が裏付けられた。