[論文レビュー] Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data

Chan Woo Lee, Kyu Ye Song+2 more|arXiv (Cornell University)|May 17, 2018

Emotion and Mood Recognition参考文献 12被引用数 17

ひとこと要約

本論文は、音声とテキストデータを用いたマルチモーダル感情認識のための畳み込み注意ネットワークを提案する。アテンション機構を活用して、複数モodal間で関連する特徴を動的に重み付けする。CMU-MOSEIデータセット上で評価された結果、単純な特徴連結ベースラインを上回り、クロスモダリティ依存関係を効果的に捉えることで、感情認識タスクにおける分類精度が向上した。

ABSTRACT

Emotion recognition has become a popular topic of interest, especially in the field of human computer interaction. Previous works involve unimodal analysis of emotion, while recent efforts focus on multi-modal emotion recognition from vision and speech. In this paper, we propose a new method of learning about the hidden representations between just speech and text data using convolutional attention networks. Compared to the shallow model which employs simple concatenation of feature vectors, the proposed attention model performs much better in classifying emotion from speech and text data contained in the CMU-MOSEI dataset.

研究の動機と目的

• 単一モダリティの感情認識の限界を克服するため、音声とテキストモダリティを統合して性能を向上させること。
• 音声とテキスト特徴間の複雑で非線形な相互作用を捉える深層学習モデルを開発すること。
• マルチモーダル入力から動的でアテンション重み付きの表現を学習することで、感情分類精度を向上させること。
• 感情計算分野におけるクロスモダリティ依存関係をモデル化するための畳み込みアテンション機構の有効性を示すこと。

提案手法

• モデルは、生の音声およびテキスト入力から階層的な時系列特徴を抽出するために畳み込みニューラルネットワーク（CNN）を採用する。
• アテンション機構を用いて、各モダリティ固有の重要度重みを学習させ、ネットワークが各モダリティの顕著な特徴に注目できるようにする。
• アテンションモジュールの出力を連結し、最終的な分類器に渡して感情予測を行う。
• エンドツーエンドで訓練するために、交差エントロピー損失と確率的勾配降下法を用いる。
• 1次元畳み込みを用いて両モダリティの時系列特徴シーケンスを処理することで、順序データを扱えるように設計されている。
• アテンション機構は特徴マップ上でソフトアテンション重みを計算し、音声とテキスト表現の動的統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 畳み込みアテンションネットワークは、音声とテキストから感情認識のためのクロスモダリティ表現を効果的に学習できるか？
• RQ2 提案されたアテンションベースの統合手法は、単純な単一モダリティ特徴の連結手法と比較して、分類精度においてどのように差をつけるか？
• RQ3 アテンション機構は、マルチモーダル入力における関連する感情的側面に注目する能力をどの程度向上させるか？
• RQ4 提案手法は、CMU-MOSEIのような実世界のマルチモーダル感情認識データセットにも十分に一般化できるか？

主な発見

• 提案された畳み込みアテンションネットワークは、単純な特徴連結を用いる浅いベースラインを上回る優れた性能を達成した。
• アテンション機構により、音声およびテキストからより情報量の多い特徴を動的に強調でき、意思決定境界が改善された。
• CMU-MOSEIデータセットにおける分類精度が向上したことで、効果的なクロスモダリティ表現学習が実現したことが示された。
• 結果から、アテンション機構が音声的およびテキスト的感情的側面間の複雑な依存関係をモデル化するのに有効であることが示唆された。