[論文レビュー] Attention Driven Fusion For Multi-Modal Emotion Recognition

Darshana Priyasad, Tharindu Fernando+3 more|arXiv (Cornell University)|Sep 23, 2020

Emotion and Mood Recognition参考文献 22被引用数 5

ひとこと要約

本論文は、生の音声をSincNet層で処理し、クロスアテンションを用いた二重ブランチ型テキスト処理を組み合わせた、アテンション駆動型のマルチモーダル統合モデルを提案する。特徴統合の前後で自己アテンションを適用することで、IEMOCAPデータセット上で79.22%の重み付き正答率を達成し、先行の最先端手法を3.5%上回った。

ABSTRACT

Deep learning has emerged as a powerful alternative to hand-crafted methods for emotion recognition on combined acoustic and text modalities. Baseline systems model emotion information in text and acoustic modes independently using Deep Convolutional Neural Networks (DCNN) and Recurrent Neural Networks (RNN), followed by applying attention, fusion, and classification. In this paper, we present a deep learning-based approach to exploit and fuse text and acoustic data for emotion classification. We utilize a SincNet layer, based on parameterized sinc functions with band-pass filters, to extract acoustic features from raw audio followed by a DCNN. This approach learns filter banks tuned for emotion recognition and provides more effective features compared to directly applying convolutions over the raw speech signal. For text processing, we use two branches (a DCNN and a Bi-direction RNN followed by a DCNN) in parallel where cross attention is introduced to infer the N-gram level correlations on hidden representations received from the Bi-RNN. Following existing state-of-the-art, we evaluate the performance of the proposed system on the IEMOCAP dataset. Experimental results indicate that the proposed system outperforms existing methods, achieving 3.5% improvement in weighted accuracy.

研究の動機と目的

• 従来の手法よりも効果的に音声的および文脈的モダリティを統合することで、音声感情認識を向上させること。
• 手作業で設計された音声特徴（例：MFCC）の代わりに、生波形から感情に特化したフィルターバンクを抽出できる学習可能なSincNet層を導入すること。
• Bi-LSTMと並列なDCNNブランチ間のクロスアテンションを導入することで、N-gramレベルの相関モデリングを向上させ、テキスト表現を強化すること。
• 統合前のモダリティ固有特徴および統合後の特徴に対して、自己アテンションを適用することで統合性能を向上させること。
• アテンション機構を用いたエンドツーエンド学習により、IEMOCAPデータセットで最先端の性能を達成すること。

提案手法

• 学習可能なバンドパスフィルタを備えたSincNet層を生音声に直接適用し、感情に適合した特徴を抽出することで、従来の生波形上での畳み込み層の代わりに使用する。
• SincNetのフィルタ応答は、g[n, f1, f2] = 2f2·sinc(2πf2n) − 2f1·sinc(2πf1n) で定義され、f1およびf2は学習可能なカットオフ周波数である。
• テキスト処理では、二重ブランチアーキテクチャを採用：一方のブランチはBi-LSTMに続くDCNN、もう一方のブランチは生のGloVe-300d埋め込み表現を用いたDCNN。
• Bi-LSTMの隠れ状態とDCNNのN-gram特徴の間でクロスアテンションを適用し、N-gramレベルでの文脈的相関をモデリングする。
• 統合の前後で、音声およびテキストブランチの最終特徴ベクトルに対して、それぞれ独立に自己アテンションを適用する（F-I, F-II）および統合後（F-III）。
• 3つの統合戦略（F-I, F-II, F-III）を評価：早期統合（自己アテンション後の連結）、後期統合（自己アテンション後の統合）、および統合後の自己アテンションを含む後期統合。

実験結果

リサーチクエスチョン

• RQ1 SincNetに基づく音声特徴抽出器は、MFCCなどの従来の手作業特徴を上回る性能を示すか？
• RQ2 N-gram表現とRNNベースのテキスト表現の間でクロスアテンションを適用することで、感情認識における語彙的文脈のモデリングが向上するか？
• RQ3 特徴統合の前後で自己アテンションを適用することで、マルチモーダル感情認識の性能にどのような影響を与えるか？
• RQ4 生音声および生テキストを用いたエンドツーエンド学習は、特徴工学的ベースラインと比較して正答率を向上させるか？
• RQ5 アテンション機構を用いた統合時、音声的およびテキスト的モダリティの相対的寄与度はどの程度か？

主な発見

• 提案モデルはIEMOCAPデータセットで79.22%の重み付き正答率を達成し、先行の最先端手法MHA-2を3.5%上回った。
• 音声モジュール単体で69.8%の重み付き正答率を達成し、MHA-2の音声ブランチ（65.2%）を4.6ポイント上回った。
• テキストモジュールは66.7%の重み付き正答率を達成し、MHA-2のテキストブランチ（70.3%）を3.6ポイント上回った。
• 統合前後で自己アテンションを適用するF-III戦略が最も高い性能を示し、F-IIを0.5%、F-Iを1.37%上回った。
• 誤分類マトリクスの結果から、統合により特に「いらいらした」および「興奮した」感情クラスの誤分類が顕著に減少した。
• モデルはモダリティ間で強力な補完性を示しており、アテンションベースの統合により、それぞれのモダリティが他方の性能を向上させた。