[論文レビュー] Exploring the contextual factors affecting multimodal emotion recognition in videos

Prasanta Bhattacharya, Raj Kumar Gupta+1 more|arXiv (Cornell University)|Apr 28, 2020

Emotion and Mood Recognition参考文献 82被引用数 5

ひとこと要約

本研究は、顔の表情、声のトーン、およびテキストコンテンツを用いた動画におけるマルチモodal感情認識に、性別および感情的エピソードの持続時間が与える影響を調査する。2,176本の手動でアノテートされたYouTube動画を用い、マルチモーダル特徴量が単モーダルおよび二モーダル手法を上回ることを確認した。特に男性発話者や短い感情的エピソードにおいて顕著な向上が見られ、特にニュートラルおよびハッピネス状態の認識が向上した。

ABSTRACT

Emotional expressions form a key part of user behavior on today's digital platforms. While multimodal emotion recognition techniques are gaining research attention, there is a lack of deeper understanding on how visual and non-visual features can be used to better recognize emotions in certain contexts, but not others. This study analyzes the interplay between the effects of multimodal emotion features derived from facial expressions, tone and text in conjunction with two key contextual factors: i) gender of the speaker, and ii) duration of the emotional episode. Using a large public dataset of 2,176 manually annotated YouTube videos, we found that while multimodal features consistently outperformed bimodal and unimodal features, their performance varied significantly across different emotions, gender and duration contexts. Multimodal features performed particularly better for male speakers in recognizing most emotions. Furthermore, multimodal features performed particularly better for shorter than for longer videos in recognizing neutral and happiness, but not sadness and anger. These findings offer new insights towards the development of more context-aware emotion recognition and empathetic systems.

研究の動機と目的

• 発話者の性別や感情的エピソードの持続時間といった文脈的要因が、マルチモーダル感情認識のパフォーマンスに与える影響を理解すること。
• 顔の表情、声のトーン、テキストの特徴量といったマルチモーダル特徴量が、さまざまな感情状態や文脈において一貫して感情認識の性能を向上させるかどうかを調査すること。
• マルチモーダル統合が、単モーダルまたは二モーダル手法よりも優れたパフォーマンスを示す条件を特定すること。
• 発話者や時間的要因に応じて適応可能な文脈に配慮した感情計算システムの設計に実証的知見を提供すること。

提案手法

• 感情認識のため、2,176本の手動でアノテートされた公開YouTube動画データセットを用いた。
• マルチモーダル特徴量を抽出した：顔の表情（顔のランドマーク分析を用い）、声のトーン（プロソディック特徴量）、およびテキスト内容（自然言語処理ベースのセンチメントおよび感情埋め込み）。
• 視覚的、聴覚的、およびテキスト的モダリティを統合するため、ラテン融合またはイアリー融合技術を用いたマルチモーダル統合戦略を適用した。
• F1スコアや正答率などの標準指標を用いて、さまざまな感情カテゴリ、性別グループ、動画長さの範囲でパフォーマンスを評価した。
• 異なる文脈的条件下での単モーダル、二モーダル、マルチモーダル設定の間で比較分析を実施した。
• 動画を短いおよび長い感情的エピソードに分割し、長さの影響が認識精度に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 発話者の性別は、マルチモーダル感情認識システムのパフォーマンスにどのように影響するか？
• RQ2 感情的エピソードの持続時間が、マルチモーダル特徴量の認識精度に与える影響は何か？
• RQ3 どの感情状態においてマルチモーダル特徴量が単モーダルまたは二モーダル手法よりも顕著な向上を示すか？
• RQ4 特定の感情においてマルチモーダル統合が効果を発揮しない場合があり、そのような状況はどのような文脈的条件下で生じるか？
• RQ5 発話者の性別およびエピソードの持続時間を補助入力として組み込むことで、文脈に配慮した感情認識モデルを改善できるか？

主な発見

• マルチモーダル特徴量は、すべての感情状態において単モーダルおよび二モーダル特徴量を一貫して上回り、F1スコアおよび正答率で統計的に有意な向上を示した。
• 男性発話者では、特に怒りや悲しみの感情において、女性発話者に比べてマルチモーダル特徴量による認識正答率が顕著に高かった。
• 短い感情的エピソードでは、マルチモーダル特徴量がニュートラルおよびハッピネス状態の認識を、長時間のクリップに比べて最大15%までF1スコア向上させた。
• 短いクリップでは怒りや悲しみに対して顕著な向上が見られなかったため、エピソードの長さに対する感受性は感情に依存することが示唆された。
• マルチモーダルと単モーダルシステムのパフォーマンス差は、特にニュートラルおよびハッピネス認識において顕著であり、男性発話者において顕著であった。
• 性別やエピソード長といった文脈的要因は、マルチモーダル統合の有効性を顕著に調整しており、適応型モデルの開発が求められることが示唆された。