[論文レビュー] A Comprehensive Survey on Affective Computing; Challenges, Trends, Applications, and Future Directions

Sitara Afzal, H.A. Khan+3 more|arXiv (Cornell University)|May 8, 2023

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本包括的なサーベイは、機械学習（ML）とミックスドリアリティ（XR）を用いた感情計算分野における最新の手法を統合し、テキスト、音声、視覚、生理的データのマルチモーダルな感情認識に焦点を当てている。データ不足、ラベル付けの不一致、モデルの解釈可能性といった主な課題を特定し、今後の方向性としてマルチモーダルデータベース、ゼロショット学習、知的ヒューマンコンピュータインタラクションのためのパーソナライズド感情モデルを提案する。

ABSTRACT

As the name suggests, affective computing aims to recognize human emotions, sentiments, and feelings. There is a wide range of fields that study affective computing, including languages, sociology, psychology, computer science, and physiology. However, no research has ever been done to determine how machine learning (ML) and mixed reality (XR) interact together. This paper discusses the significance of affective computing, as well as its ideas, conceptions, methods, and outcomes. By using approaches of ML and XR, we survey and discuss recent methodologies in affective computing. We survey the state-of-the-art approaches along with current affective data resources. Further, we discuss various applications where affective computing has a significant impact, which will aid future scholars in gaining a better understanding of its significance and practical relevance.

研究の動機と目的

• 機械学習およびミックスドリアリティ（XR）技術を統合した感情計算の手法について包括的なレビューを提供すること。
• データ不足、ラベル付けの不一致、モデルの解釈可能性といった感情認識における主な課題を特定・分析すること。
• 単モーダルおよびマルチモーダルな感情計算における最新のデータセット、モデル、評価技術を調査すること。
• ゼロショット学習、パーソナライズド感情モデリング、耐障害な統合戦略といった今後の研究方向性を提示すること。
• 現在の進展と未解決問題を統合することで、感情知能を持つシステムの開発を支援すること。

提案手法

• 機械学習およびミックスドリアリティ（XR）技術を用いた感情計算研究の体系的サーベイ。
• 感情認識手法を視覚的、音声的、テキスト的、生理的感情認識（VER, AER/SER, PER）に分類すること。
• 深層学習および統計的手法を用いたマルチモーダル統合戦略の分析により、感情認識の向上を図ること。
• RAF-PhD、AffectNet、CREMA-D、IEMOCAPといったベンチマークデータベースを、感情モデルの学習およびテストに評価すること。
• 長短期記憶（LSTM）ネットワークを二重チャネルアーキテクチャに適用し、音声・視覚的感情信号をモデル化すること。
• 感情認識および感情調節モデリングに、Frame of Reference Intermodal Attentionのようなフレームワークを活用すること。

Figure 1: Types of Emotions

実験結果

リサーチクエスチョン

• RQ1 どのようにして機械学習とミックスドリアリティを効果的に統合することで、感情計算システムの性能を向上させることができるか？
• RQ2 感情計算用データセットの現在の制限とは何か。新たなデータ収集およびラベル付け戦略によってどのように是正できるか？
• RQ3 マルチモーダル統合技術は、実世界の応用において感情認識の精度と耐障害性をどのように向上させることができるか？
• RQ4 解釈可能で一般化可能な感情認識モデルを実現するにあたり、主な課題は何か？
• RQ5 個人差や動的変化する感情状態を考慮した、パーソナライズドかつ適応型の感情認識モデルは、どのように開発できるか？

主な発見

• 深層学習および統合技術を用いたマルチモーダルな感情計算システムは、複雑な感情状態において単モーダル手法よりも高い精度を達成する。
• AffectNet や RAF-PhD といった既存のデータセットは広く使われているが、文化的・個人差による多様性の欠如とラベル付けの不一致という課題を抱えている。
• LSTMを用いた二重チャネルモデルは、音声および視覚的感情信号を効果的に処理でき、音楽や顔の感情認識タスクでの性能向上に寄与している。
• 標準化された感情ラベル付けスキームの欠如が、研究間の比較を困難にし、多様な集団への一般化性を損なっている。
• 深層ニューラルネットワークのブラックボックス性は信頼性を低下させ、微調整を困難にしているため、感情計算分野におけるより解釈可能で耐障害性の高い機械学習モデルの開発が急務である。
• 今後の研究では、リソースが限られた環境やバイアスの強いデータ環境においてもモデルの安定性を高めるために、ゼロショット学習および自己教師あり学習の優先的活用が求められる。

Figure 2: Organization of this survey paper.