[論文レビュー] Deep Fusion: An Attention Guided Factorized Bilinear Pooling for Audio-video Emotion Recognition

Yuanyuan Zhang, Zi-Rui Wang+1 more|arXiv (Cornell University)|Jan 15, 2019

Music and Audio Processing参考文献 29被引用数 7

ひとこと要約

本論文では、音声・映像の感情認識のためのアテンション誘導型因子分解双線形プーリング（FBP）手法であるDeep Fusionを提案する。この手法は、モダリティ固有の特徴とそれらのクロスマダリティ相互作用を同時に学習する。FBP統合の前に、埋め込みアテンションを用いて音声および映像ストリーム内の感情関連領域を選択的に抽出することで、単一のモデルアーキテクチャを用いてAFEWデータセットで62.48%の精度を達成。これは、先行する最先端手法を上回る結果である。

ABSTRACT

Automatic emotion recognition (AER) is a challenging task due to the abstract concept and multiple expressions of emotion. Although there is no consensus on a definition, human emotional states usually can be apperceived by auditory and visual systems. Inspired by this cognitive process in human beings, it's natural to simultaneously utilize audio and visual information in AER. However, most traditional fusion approaches only build a linear paradigm, such as feature concatenation and multi-system fusion, which hardly captures complex association between audio and video. In this paper, we introduce factorized bilinear pooling (FBP) to deeply integrate the features of audio and video. Specifically, the features are selected through the embedded attention mechanism from respective modalities to obtain the emotion-related regions. The whole pipeline can be completed in a neural network. Validated on the AFEW database of the audio-video sub-challenge in EmotiW2018, the proposed approach achieves an accuracy of 62.48%, outperforming the state-of-the-art result.

研究の動機と目的

• 自動感情認識（AER）における音声および映像モダリティ間の複雑で非線形な相互作用を捉える課題に対処すること。
• 特徴連結のような線形手法を超えて、高次元のクロスマダリティ依存関係をモデル化することで、統合性能を向上させること。
• 統一されたニューラルネットワークを通じて、モダリティ固有の表現とそれらの統合のエンドツーエンド学習を可能にすること。
• アテンション機構を組み込むことで、モデルのロバスト性と解釈可能性を向上させ、感情に関連するフレームや特徴に注目させること。

提案手法

• 本手法は、統合の前に、埋め込みアテンション機構を用いて音声および映像ストリーム内の感情関連領域に焦点を当てる。
• 因子分解双線形プーリング（FBP）を用いて、音声および映像特徴間の高次元クロスマダリティ相互作用を計算し、標準的な双線形プーリングと比較して計算コストを低減する。
• FBP演算はランクk=4の低ランク分解と出力次元o=128を用い、クロスマダリティ相互作用を効率的にモデル化する。
• アテンション、特徴抽出、FBPを含む全パイプラインは微分可能であり、1つのニューラルネットワーク内でエンドツーエンドで訓練される。
• FBP層での過学習を防ぐために、訓練時にドロップアウト率0.3が適用される。
• モデルはAFEWデータセット上で訓練され、検証セットを用いたデータ拡張が行われ、汎化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 アテンション誘導型特徴選択は、音声および映像ストリーム内の感情関連領域の特定を改善できるか？
• RQ2 因子分解双線形プーリングは、連結のような線形統合手法と比較して、音声および映像特徴の統合をより効果的に行えるか？
• RQ3 FBPとアテンションを統合した統一ネットワークのエンドツーエンド訓練は、音声・映像感情認識で優れた性能を達成できるか？
• RQ4 アテンション重みはモデルが感情的に顕著なフレームに注目していることをどのように反映しており、音声の手がかりと整合性を示すか？

主な発見

• 提案されたDeep Fusionモデルは、AFEWテストセットで62.48%の精度を達成し、以前の最先端手法の61.87%を上回った。
• 検証セットデータを用いて4つの独立して初期化されたFBPモデルを統合することで、さらに精度が62.48%に向上し、モデルの堅牢性と一般化性能が裏付けられた。
• アテンション機構は感情関連フレームを効果的に強調しており、笑いなどの感情的スピーチセグメントとアテンション重みが相関していた。
• 混同行列から、怒り、喜び、ニュートラルといった明確に表現された感情の分類精度が高く、嫌悪や驚きは微細または曖昧な表現のため困難であることが示された。
• FBP統合戦略は、単純な特徴連結と比較して2.76%の性能向上を示し、複雑なクロスマダリティ相互作用をモデル化する有効性が裏付けられた。
• 可視化により、音声モダリティが映像のアテンション重みに影響を与えていることが確認され、エンドツーエンド訓練による深いつながりのある統合が実現していることが示された。