[論文レビュー] Learnable Graph Inception Network for Emotion Recognition.

Amir Shirian, Subarna Tripathi+1 more|arXiv (Cornell University)|Aug 6, 2020

Emotion and Mood Recognition参考文献 40被引用数 4

ひとこと要約

本論文は、動的マルチモodalデータ（動画、音声、モーシャンキャプチャ）からエモーション認識をエンドツーエンドで行う、最適なグラフ構造を同時に学習する新しい深層学習フレームワーク、学習可能グラフインセプションネットワーク（L-GrIN）を提案する。学習可能な隣接行列、グラフインセプション層、微分可能プーリングを統合することで、顔の表情、音声、身体のジェスチャーをカバーする4つのベンチマークデータベースで最先端の性能を達成した。

ABSTRACT

Analyzing emotion from verbal and non-verbal behavioral cues is critical for many intelligent human-centric systems. The emotional cues can be captured using audio, video, motion-capture (mocap) or other modalities. We propose a generalized graph approach to emotion recognition that can take any time-varying (dynamic) data modality as input. To alleviate the problem of optimal graph construction, we cast this as a joint graph learning and classification task. To this end, we present the \emph{Learnable Graph Inception Network} (L-GrIN) that jointly learns to recognize emotion and to identify the underlying graph structure in data. Our architecture comprises multiple novel components: a new graph convolution operation, a graph inception layer, learnable adjacency, and a learnable pooling function that yields a graph-level embedding. We evaluate the proposed architecture on four benchmark emotion recognition databases spanning three different modalities (video, audio, mocap), where each database captures one of the following emotional cues: facial expressions, speech and body gestures. We achieve state-of-the-art performance on all databases outperforming several competitive baselines and relevant existing methods.

研究の動機と目的

• 動的行動データからの最適なグラフ構築の課題に取り組む。
• グラフ学習とエモーション分類を1つのエンドツーエンドで最適化可能なフレームワークに統合する。
• 動画、音声、モーションキャプチャデータなどの時間変動する多様なモダリティからの有効な表現学習を可能にする。
• グラフ構造と分類の共同最適化により、マルチモーダルエモーション認識の性能を向上させる。

提案手法

• 学習されたグラフ構造に適応する動的グラフ畳み込み演算を提案する。
• 学習されたグラフ上の複数の受容野にわたる特徴をアグリゲートするグラフインセプション層を導入する。
• 訓練中に最適化される学習可能な隣接行列を採用し、データ内の意味のある関係を反映させる。
• 分類のためのグローバルなグラフレベル埋め込みを生成するために微分可能なグラフプール関数を組み込む。
• グラフ構造学習とエモーション分類の両方を同時に最適化するエンドツーエンドアーキテクチャを設計する。
• 時間的系列を動的グラフとしてモデル化することで、動的モダリティ（動画、音声、モーションキャプチャ）を複数サポートする。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造とエモーション分類の共同学習は、マルチモーダルエモーション認識の性能向上に寄与するか？
• RQ2 学習可能な隣接行列は、多様なモダリティからの関連する感情的側面を効果的に捉えられるか？
• RQ3 グラフインセプションモジュールは、標準的なグラフ畳み込みと比較して、特徴表現をどの程度向上させるか？
• RQ4 微分可能なプールメカニズムは、エモーション分類のための頑健なグラフレベル埋め込みにどのように寄与するか？
• RQ5 提案されたフレームワークは、顔の表情、音声、身体のジェスチャーといった異なるモダリティに一般化可能か？

主な発見

• L-GrINは、4つのベンチマークエモーション認識データベースすべてで最先端の性能を達成し、既存手法を上回った。
• グラフ学習と分類の共同最適化により、固定または手作業で作成されたグラフ構造よりもより判別力のある表現が得られた。
• 学習可能な隣接行列により、モダリティ固有の感情的ダイナミクスに適応することで、性能が顕著に向上した。
• グラフインセプション層により、データ内のマルチスケール依存性を捉えることで、特徴学習が向上した。
• 微分可能なプールメカニズムにより、ノードレベルの特徴がコンパクトで情報豊富なグラフレベル埋め込みに効果的にアグリゲートされた。
• フレームワークは、動画、音声、モーションキャプチャデータを含む多様なモダリティにうまく一般化でき、頑健さと多様性を示した。