[論文レビュー] Learning Alignment for Multimodal Emotion Recognition from Speech

Haiyang Xu, Hui Zhang+4 more|arXiv (Cornell University)|Sep 6, 2019

Emotion and Mood Recognition参考文献 27被引用数 6

ひとこと要約

本論文は、音声とASRによって生成されたテキストを統合するためのアテンションベースのアライメント機構を提案し、微細な時間的対応関係をモデル化することで特徴表現を向上させている。この手法は、IEMOCAPデータセットにおいて最先端の性能を達成し、認識されたテキストを用いて70.4%の加重正答率（WA）と69.5%の加重なし正答率（UA）を達成しており、単モodalおよび連結ベースのマルチモーダルベースラインを上回っている。

ABSTRACT

Speech emotion recognition is a challenging problem because human convey emotions in subtle and complex ways. For emotion recognition on human speech, one can either extract emotion related features from audio signals or employ speech recognition techniques to generate text from speech and then apply natural language processing to analyze the sentiment. Further, emotion recognition will be beneficial from using audio-textual multimodal information, it is not trivial to build a system to learn from multimodality. One can build models for two input sources separately and combine them in a decision level, but this method ignores the interaction between speech and text in the temporal domain. In this paper, we propose to use an attention mechanism to learn the alignment between speech frames and text words, aiming to produce more accurate multimodal feature representations. The aligned multimodal features are fed into a sequential model for emotion recognition. We evaluate the approach on the IEMOCAP dataset and the experimental results show the proposed approach achieves the state-of-the-art performance on the dataset.

研究の動機と目的

• 音声とテキスト間の時間的アライメントを活用することで、マルチモーダル感情認識を向上させること。
• 意思決定段階の統合の限界を克服するため、時間領域における音声とテキストの相互作用をモデル化すること。
• ASRシステムのアライメントに依存せずに、音声フレームとテキスト語の間のアライメントをエンドツーエンドで学習すること。
• 感情認識に最適化されたアテンションベースのアライメントが、真値のハードアライメントを上回ることを示すこと。
• 視覚的または真値テキストにアクセスしないで、音声と認識されたテキストのみを用いて、IEMOCAPデータセットで最先端の性能を達成すること。

提案手法

• アテンション機構を用いて音声フレームとテキスト語の間のアライメントを学習し、マルチモーダル特徴の動的統合を可能にする。
• 音声特徴はCNNまたはTDNNを用いて抽出され、その後LSTMで系列モデリングが行われる。
• テキスト特徴はLSTMで処理され、アテンション重みが各語に対応する関連のある音声フレームに注目するために用いられる。
• アライメント済みのマルチモーダル特徴は、語レベルで注目された音声特徴とテキストの隠れ状態を連結することで形成される。
• 最終的なLSTMが統合されたマルチモーダル系列を処理し、感情分類を行う。
• 事前定義されたASRアライメントに依存せずに、交差エントロピー損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 音声とテキスト間のエンドツーエンドで学習されたアテンションアライメントは、マルチモーダル感情認識の性能を向上させることができるか？
• RQ2 感情認識に特化して学習されたアライメントは、事前に存在するASRアライメントを上回るか？
• RQ3 本手法は、IEMOCAPデータセットにおける単モーダルおよび連結ベースのマルチモーダルベースラインと比較してどのように異なるか？
• RQ4 真値トランスクリプトと真値語レベルアライメントを使用した場合、ASRによって生成されたテキストと比較してどの程度の性能向上が得られるか？
• RQ5 視覚的または真値テキストにアクセスしないで、音声と認識されたテキストのみを用いて、モデルは最先端の結果を達成できるか？

主な発見

• 本手法は、ASRによって生成されたテキストを用いてIEMOCAPデータセットで70.4%の加重正答率（WA）と69.5%の加重なし正答率（UA）を達成し、すべてのベースラインを上回っている。
• 真値トランスクリプトと真値アライメントを用いた場合、72.5%の加重正答率（WA）と70.9%の加重なし正答率（UA）を達成しており、より良いASRがあればさらなる向上が可能であることが示唆されている。
• アテンションベースのアライメント手法はハードアライメントベースライン（71.5% WA 対 70.4% WA）を上回っており、感情認識に最適化されたアライメントが、音声認識に最適化されたアライメントよりも効果的であることが示された。
• 学習されたアライメントを用いたマルチモーダルアプローチは、単モーダルモデル（例：音声のみで63.4% WA）および連結ベース手法（68.1% WA）と比較して顕著な性能向上を示している。
• ASRシステムのアライメントに依存するのではなく、感情認識に最適化されたアライメントを学習することが、特にASRがブラックボックスである場合に有効であることが実証された。
• 本モデルは、IEMOCAPデータセットで最先端の性能を達成しており、エンドツーエンドで学習されたマルチモーダルアライメントの有効性が裏付けられた。