[論文レビュー] Deep Multimodal Learning for Emotion Recognition in Spoken Language

Yue Gu, Shuhong Chen+1 more|arXiv (Cornell University)|Feb 22, 2018

Emotion and Mood Recognition参考文献 14被引用数 12

ひとこと要約

本論文では、テキストと音声特徴を統合的に学習するためのディープマルチモーダルフレームワークを提案する。CNNを用いたテキスト（空間的特徴）とRNNを用いた音声（時間的特徴）のハイブリッドアーキテクチャを採用し、3層のディープニューラルネットワークによるクロスモーダル統合をエンドツーエンドで訓練する。このモデルは、5つの感情カテゴリに対してIEMOCAPデータセットで60.4％の加重正答率を達成した。

ABSTRACT

In this paper, we present a novel deep multimodal framework to predict human emotions based on sentence-level spoken language. Our architecture has two distinctive characteristics. First, it extracts the high-level features from both text and audio via a hybrid deep multimodal structure, which considers the spatial information from text, temporal information from audio, and high-level associations from low-level handcrafted features. Second, we fuse all features by using a three-layer deep neural network to learn the correlations across modalities and train the feature extraction and fusion modules together, allowing optimal global fine-tuning of the entire structure. We evaluated the proposed framework on the IEMOCAP dataset. Our result shows promising performance, achieving 60.4% in weighted accuracy for five emotion categories.

研究の動機と目的

• テキストと音声の両モダリティを活用することで、会話言語における感情認識を向上させること。
• ハイブリッドディープラーニングアーキテクチャを用いて、テキストの空間的依存関係と音声の時間的ダイナミクスをモデル化すること。
• 特徴抽出モジュールと統合モジュールのエンドツーエンド訓練により、クロスモーダル相関を学習すること。
• マルチモーダルシステム全体の最適なグローバルファインチューニングを実現し、性能を向上させること。

提案手法

• ハイブリッドディープニューラルネットワークアーキテクチャを用いる：CNNがテキストからのハイレベルな空間的特徴を抽出し、RNNが音声の時間的パターンをモデル化する。
• 低レベルの手作業特徴（例：プロソディックおよび言語的キュー）を統合し、各モダリティの表現を豊かにする。
• 3層のディープニューラルネットワークがマルチモーダル特徴を統合し、テキストと音声入力間の複雑な相関を学習する。
• システム全体をエンドツーエンドで訓練することで、特徴抽出と統合コンponentsの共同最適化を可能にする。
• 両モダリティのハイレベル表現は、統合ネットワーク内での学習されたアテンションまたは連結メカニズムを用いて統合される。

実験結果

リサーチクエスチョン

• RQ1 ディープマルチモーダルフレームワークは、会話言語における感情認識を向上させるために、テキストと音声特徴を効果的に統合できるか？
• RQ2 テキストと音声モダリティにおける空間的および時間的モデリングは、感情認識性能にどのように寄与するか？
• RQ3 ネットワーク全体をエンドツーエンドで訓練することは、特徴抽出器と統合モジュールを別々に訓練するのと比べて、より優れた性能をもたらすか？
• RQ4 低レベルの手作業特徴の統合は、最終的な感情認識正答率にどのような影響を与えるか？

主な発見

• 提案されたフレームワークは、5つの感情カテゴリに対してIEMOCAPデータセットで60.4％の加重正答率を達成した。
• 特徴抽出と統合モジュールの共同訓練は、分離した訓練よりも性能向上をもたらした。
• 低レベルの手作業特徴の統合により、学習された表現の識別力が向上した。
• ハイブリッドアーキテクチャは、テキストの空間的（spatial）および音声の時間的（temporal）パターンを効果的に捉えており、頑健な感情認識に寄与している。