[論文レビュー] Multimodal Emotion Recognition Using Deep Canonical Correlation Analysis

Wei Liu, Jielin Qiu+2 more|arXiv (Cornell University)|Aug 13, 2019

Emotion and Mood Recognition参考文献 63被引用数 68

ひとこと要約

本論文は多モーダル信号からの表現を調整する Deep Canonical Correlation Analysis (DCCA) を提案し、5つのデータセットで感情認識の最先端を実証します。

ABSTRACT

Multimodal signals are more powerful than unimodal data for emotion recognition since they can represent emotions more comprehensively. In this paper, we introduce deep canonical correlation analysis (DCCA) to multimodal emotion recognition. The basic idea behind DCCA is to transform each modality separately and coordinate different modalities into a hyperspace by using specified canonical correlation analysis constraints. We evaluate the performance of DCCA on five multimodal datasets: the SEED, SEED-IV, SEED-V, DEAP, and DREAMER datasets. Our experimental results demonstrate that DCCA achieves state-of-the-art recognition accuracy rates on all five datasets: 94.58% on the SEED dataset, 87.45% on the SEED-IV dataset, 84.33% and 85.62% for two binary classification tasks and 88.51% for a four-category classification task on the DEAP dataset, 83.08% on the SEED-V dataset, and 88.99%, 90.57%, and 90.67% for three binary classification tasks on the DREAMER dataset. We also compare the noise robustness of DCCA with that of existing methods when adding various amounts of noise to the SEED-V dataset. The experimental results indicate that DCCA has greater robustness. By visualizing feature distributions with t-SNE and calculating the mutual information between different modalities before and after using DCCA, we find that the features transformed by DCCA from different modalities are more homogeneous and discriminative across emotions.

研究の動機と目的

• 単一モダリティデータを超えた多モーダル信号を用いた信頼性の高い感情認識を動機づけ、実現する。
• CCA制約を用いてモダリティ固有の非線形変換を学習する協調表現フレームワーク（DCCA）を提案する。
• DCCA が可変重みでモダリティを融合し、ノイズに対する頑健性を評価できることを示す。
• 識別性が高く頑健な感情表現を示すために、5つのベンチマークデータセットで DCCA を評価する。

提案手法

• 各モダリティを別々の深層ニューラルネットワークで変換し、O1とO2を生成する。
• DCCA 目的の下で O1 と O2 の相関を最大化することによって W1 と W2 を最適化する。
• 変換後特徴を重み付き和 O = α1 O1 + α2 O2 で融合し、分類に用いる。
• 統合された DCCA 特徴上で SVM 分類器を訓練する。
• 正則化共分散推定とバックプロパゲーションを用いて DCCA 訓練の勾配を計算する。
• 任意で MINE を用いてモダリティ間の相互情報を推定するために変換後の特徴を解析する。

実験結果

リサーチクエスチョン

• RQ1 DCCA は多モーダル感情データに対して協調的で識別性の高い非線形表現を学習できるか？
• RQ2 ベンチマークデータセット上で他の融合戦略と比較して DCCA の性能はどうか？
• RQ3 一つ以上のモダリティに影響を及ぼすノイズに対して DCCA は頑健か？
• RQ4 特定のタスクやデータセットでモダリティの重みを変えることで融合性能が向上するか？

主な発見

• DCCA は SEED (94.58%), SEED-IV (87.45%), DEAP (4 クラスタスクで 88.51%), SEED-V (83.08%), DREAMER (3 つの二値タスクで 88.99%, 90.57%, 90.67%) の最先端認識精度を達成します。
• DCCA は SEED-V において様々なノイズレベルで既存手法よりノイズ耐性が高いことを示します。
• DCCA による変換特徴は t-SNE の視覚化と相互情報分析から、感情間でより均质かつ識別性が高いことを示します。
• DCCA はモダリティ重みを調整することで柔軟な融合を可能にし、融合特徴への各モダリティの寄与を異なる形で実現します。