[論文レビュー] ABC-Net: Semi-Supervised Multimodal GAN-based Engagement Detection using an Affective, Behavioral and Cognitive Model.

Pooja Guhan, Manas Agarwal+4 more|arXiv (Cornell University)|Nov 17, 2020

Emotion and Mood Recognition参考文献 53被引用数 6

ひとこと要約

ABC-Netは、感情的、行動的、認知的関与モデルを統合した半教師付きマルチモーダル GAN フレームワークを提案し、動画会話における関与度を検出する。これらの構造からの潜在表現を感情価と覚醒度への回帰に活用することで、RECOLA データセットにおいて関与度分類精度を5%以上相対的に向上させ、マルチモーダルな半教師付きネットワークを用いた初めての手法である。

ABSTRACT

We present ABC-Net, a novel semi-supervised multimodal GAN framework to detect engagement levels in video conversations based on psychology literature. We use three constructs: behavioral, cognitive, and affective engagement, to extract various features that can effectively capture engagement levels. We feed these features to our semi-supervised GAN network that does regression using these latent representations to obtain the corresponding valence and arousal values, which are then categorized into different levels of engagements. We demonstrate the efficiency of our network through experiments on the RECOLA database. To evaluate our method, we analyze and compare our performance on RECOLA and report a relative performance improvement of more than 5% over the baseline methods. To the best of our knowledge, our approach is the first method to classify engagement based on a multimodal semi-supervised network.

研究の動機と目的

• 動画会話における関与度をマルチモーダルデータを用いて検出するための新規フレームワークの開発。
• 行動的、認知的、感情的関与という心理的構造を統合した深層学習アーキテクチャへの統合。
• 限られたラベル付きデータで性能を向上させるために、半教師付き学習を活用。
• 実世界の関与度データセット、RECOLA 上での提案手法の有効性を実証。
• GANベースの回帰を用いたマルチモーダルで半教師付きの関与度検出の新しいベンチマークを確立。

提案手法

• ABC-Netは、動画会話から抽出された感情的、行動的、認知的特徴を共同でモデリングするマルチモーダル GAN アーキテクチャを採用。
• ラベルなしデータを活用する半教師付き学習戦略を用いることで、一般化性能を向上させ、完全にラベル付けされた例に依存するのを軽減。
• 3つの関与構造からの潜在表現を回帰ヘッドに供給し、連続的な感情価と覚醒度スコアを予測。
• GANフレームワークには生成器と識別器が含まれ、生成器は現実的な関与表現を学習し、識別器は本物と生成されたサンプルを区別する。
• 敵対的損失と回帰損失を用いて、エンドツーエンドでネットワークを訓練し、表現品質と関与度予測精度の両方を最適化。
• 関与度は、予測された感情価と覚醒度の値を離散的な関与状態に分類することで導出される。

実験結果

リサーチクエスチョン

• RQ1 半教師付きマルチモーダル GAN は、心理的構造を用いて動画会話における関与度を効果的に検出できるか？
• RQ2 感情的、行動的、認知的特徴は、関与度検出性能の向上にどのように寄与するか？
• RQ3 ラベル付きデータが限られる状況で、半教師付き学習がモデル性能をどの程度向上させるか？
• RQ4 心理的モデルを GAN フレームワークに統合することで、より正確で頑健な関与度予測が可能になるか？
• RQ5 ABC-Net は、既存のベースライン手法と比較して、関与度分類精度においてどのように差をつけるか？

主な発見

• ABC-Net は、RECOLA データセットにおいて、ベースライン手法よりも相対的に5%以上の性能向上を達成。
• 感情的、行動的、認知的関与モデルの統合により、モデルの予測能力が顕著に向上。
• 半教師付き学習戦略により、ラベルなしデータを活用することで性能が効果的に向上。
• 感情価と覚醒度の予測に対して、モデルは頑健であることが示され、これが離散的関与状態の推定に用いられる。
• 著者らの知る限り、ABC-Net はマルチモーダルで半教師付きの GAN フレームワークを用いて関与度を分類する最初の手法である。
• 実世界の動画会話データに対して、強力な一般化性能とスケーラビリティを示している。