[論文レビュー] Improving Multimodal Accuracy Through Modality Pre-training and Attention

Aya Abdelsalam Ismail, Md. Mahmudul Hasan+1 more|arXiv (Cornell University)|Nov 11, 2020

Speech and dialogue systems参考文献 45被引用数 14

ひとこと要約

この論文では、マルチモーダル学習のための2段階訓練アプローチを提案しており、事前学習を用いてモダリティ固有のサブネットワーク（例：テキスト、音声、動画）を独立して事前学習した後、モダリティ注意メカニズムを用いてエンド・トゥ・エンドの微調整を行うことで、精度を向上させている。注意モジュールは入力ごとに関連性に基づいてモダリティの重みを動的に設定し、感情分析、感情認識、発話者特性認識のタスクで、複雑なエンド・トゥ・エンドモデルに比べてより単純なアーキテクチャで優れた性能を達成できる。

ABSTRACT

Training a multimodal network is challenging and it requires complex architectures to achieve reasonable performance. We show that one reason for this phenomena is the difference between the convergence rate of various modalities. We address this by pre-training modality-specific sub-networks in multimodal architectures independently before end-to-end training of the entire network. Furthermore, we show that the addition of an attention mechanism between sub-networks after pre-training helps identify the most important modality during ambiguous scenarios boosting the performance. We demonstrate that by performing these two tricks a simple network can achieve similar performance to a complicated architecture that is significantly more expensive to train on multiple tasks including sentiment analysis, emotion recognition, and speaker trait recognition.

研究の動機と目的

• エンド・トゥ・エンドのマルチモーダル訓練中に、テキスト、音声、動画といったモダリティの収束速度の不均衡という課題に対処すること。
• 複雑で高価なアーキテクチャに依存せずに、マルチモーダルモデルの性能を向上させること。
• 入力ごとに最も情報量の多いモダリティを特定する注意メカニズムを用いて、推論中にモダリティの重みを動的に設定できること。
• 独立してサブネットワークを事前学習することで、モダリティ内表現学習が向上し、全体の精度が向上することを示すこと。
• 従来のマルチモーダル統合手法よりも説明性が高く、効率的な代替手法を提供すること。

提案手法

• テキスト、音声、動画といった各モダリティで、モダリティ固有の双方向LSTMを独立して事前学習し、融合の前に堅牢なモダリティ内表現を学習する。
• 事前学習後に最終のソフトマックス層を削除し、各入力の最後の隠れ状態をモダリティ埋め込みとして使用する。
• 2層の全結合ネットワーク（ReLUおよびソフトマックス非線形性を伴う）を用いて、重要度重みを計算する学習可能な注意メカニズムを用いてモダリティを統合する。
• 注意メカニズムは、次の式で重みを計算する：$ A = \text{softmax}(W_2(\tanh(W_1 H^T + b_1)) + b_2) $、ここで $ H $ はすべてのモダリティの隠れ状態を連結したものである。
• 重み付けされたモダリティ表現を連結し、最終的な分類のための全結合層とソフトマックスを通過させる。
• 事前学習および注意ブロックの統合後に、エンド・トゥ・エンドで全ネットワークを微調整し、モダリティ内およびモダリティ間のダイナミクスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化からのエンド・トゥ・エンド訓練と比較して、モダリティ固有のサブネットワークを独立して事前学習することで、マルチモーダル分類精度が向上するか？
• RQ2 動的にモダリティの重みを設定する注意メカニズムは、曖昧または矛盾するマルチモーダル状況下でも性能を向上させられるか？
• RQ3 事前学習と注意メカニズムを用いた単純なアーキテクチャが、より複雑なマルチモーダルモデルに匹敵するか、あるいはそれを上回る性能を達成できるか、その程度はいかほどか？
• RQ4 注意重みは、マルチモーダル理解タスクにおいて人間のモダリティ優先順位をどのように反映しているか？
• RQ5 2段階の訓練戦略は、高い精度を維持しつつ、トレーニング時間と複雑さを低減するか？

主な発見

• 提案手法は、感情分析、感情認識、発話者特性認識タスクで競争力のある性能を達成しており、より複雑なモデルに匹敵またはそれを上回っている。
• サブネットワークを独立して事前学習することで、各モダリティが自身の最適な収束速度で学習できるようになり、性能が著しく向上した。
• 注意メカニズムは、視覚的または文脈的ヒントが誤解を招くような曖昧な状況でも、最も情報量の多いモダリティを正しく特定できた。
• POMデータセットでは、自信の認識において、音声モダリティに最も高い注意重みが割り当てられており、それがキーデータとして正しく特定された。
• MOSEIデータセットでは、すべてのモダリティが「幸せ」を示していた場合、モデルは類似した注意重みを割り当てており、一貫したマルチモーダル信号を反映していた。
• この手法により、収束が速いモダリティ（例：テキスト）へのトレーニングバイアスが軽減され、マルチモーダル意思決定における全体のロバスト性が向上した。