[論文レビュー] Multi-modal Attention for Speech Emotion Recognition

Zexu Pan, Zhaojie Luo+2 more|arXiv (Cornell University)|Sep 9, 2020

Emotion and Mood Recognition参考文献 30被引用数 7

ひとこと要約

本稿では、音声、視覚、テキストの3モダリティを並列的な方向性注意を用いて融合する、新しいcLSTM-MMA機構を備えたハイブリッドマルチモーダルアテンションネットワーク（MMAN）を提案する。従来の早期融合における特徴の連結とは異なり、この手法は、音声、視覚、テキストの各モダリティに沿った並列的アテンションを適用する。提案手法は、IEMOCAPデータセットにおいて73.94%の最先端の正確度を達成し、従来のモデルと比較して顕著に少ないパラメータ数を実現した。

ABSTRACT

Emotion represents an essential aspect of human speech that is manifested in speech prosody. Speech, visual, and textual cues are complementary in human communication. In this paper, we study a hybrid fusion method, referred to as multi-modal attention network (MMAN) to make use of visual and textual cues in speech emotion recognition. We propose a novel multi-modal attention mechanism, cLSTM-MMA, which facilitates the attention across three modalities and selectively fuse the information. cLSTM-MMA is fused with other uni-modal sub-networks in the late fusion. The experiments show that speech emotion recognition benefits significantly from visual and textual cues, and the proposed cLSTM-MMA alone is as competitive as other fusion methods in terms of accuracy, but with a much more compact network structure. The proposed hybrid network MMAN achieves state-of-the-art performance on IEMOCAP database for emotion recognition.

研究の動機と目的

• 音声のプロソディーに加えて、補完的な視覚的およびテキスト的ヒントを効果的に統合することで、音声感情認識を向上させること。
• 従来の早期融合（例：特徴の不整合、パラメータの非効率性）の限界を、学習可能なアテンションベースのメカニズムによって克服すること。
• 音声、視覚、テキストの3モダリティのクロスアテンションを初めて探索し、3つのモダリティ間の相互作用を統合的にモデル化すること。
• 早期融合とラテント融合を組み合わせることで、コンactなネットワークアーキテクチャを実現し、最先端の性能を達成すること。

提案手法

• 音声、視覚、テキストの特徴間のクロスモダリティアテンションを計算するために、3つの並列的で方向性を持つアテンションモジュールを用いるマルチモーダルアテンションサブネットワーク「cLSTM-MMA」を導入する。
• 各アテンションモジュールは、1つのモダリティからクエリ、キー、バリュー表現を生成し、コサイン類似度に基づくアテンションスコアを用いて他の2つのモダリティに注目する。
• このアテンション機構により、単純な連結による早期融合に代わって、選択的で動的なマルチモーダル特徴の統合が可能になる。
• cLSTM-MMAは、ユニモーダルなcLSTMサブネットワーク（音声、視覚、テキスト）を事前に処理し、その予測結果を全結合層とソフトマックス層を介して統合するハイブリッドラテント統合フレームワーク（MMAN）に統合される。
• アテンション計算の前にユニモーダル埋め込みを標準化することで、学習の安定性を向上させる。
• このアーキテクチャは、モダリティ固有の表現とクロスモダリティ相互作用の両方を効率的にモデル化するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルアテンション機構は、連結による従来の早期融合を上回る性能を発揮するのか？
• RQ2 音声、視覚、テキストの3モダリティ同時アテンション（同時に3つのモダリティに注目）は、ペアワイズアテンションやラテント統合と比較して性能を向上させるのか？
• RQ3 アテンションを備えたコンパクトな早期統合ネットワークは、大規模なラテント統合モデルと同等の性能を達成できるのか？
• RQ4 視覚的およびテキスト的ヒントは、音声のみの感情認識における曖昧性をどのように軽減するのか？

主な発見

• cLSTM-MMAモデルは、IEMOCAPで71.66%の正確度を達成し、早期統合ベースライン（cLSTM-EF）の2%上回った。パラメータ数は127万で、cLSTM-EFの40%少ない。
• 提案されたハイブリッドMMANネットワークは、IEMOCAPデータセットで73.94%の最先端の正確度を達成し、過去のあらゆる手法（未来のコンテキストにアクセス可能なBLSTMベースの手法を含む）を上回った。
• 混同行列の分析から、cLSTM-MMAは、音声のみのベースライン（cLSTM-Speech）が低く、中立の感情認識が不十分だったのと比較して、中立および怒りの感情の再現率を顕著に向上させた。
• バイナリ感情分類では、cLSTM-MMAは「幸せ」で92.68%、「怒り」で93.32%の正確度を達成し、MulTや他のペアワイズアテンションモデルを上回った。
• MMANモデルは、439万パラメータで、大規模なcLSTM-LFラテント統合モデル（71.78%の正確度、473万パラメータ）と同等の性能を達成した。
• 結果から、マルチモーダルアテンションは連結に比べてより効果的かつ効率的な統合を可能にし、モダリティ固有の表現とクロスモダリティ相互作用の両方が、高性能な感情認識に不可欠であることが示された。