[論文レビュー] AVEC 2016 - Depression, Mood, and Emotion Recognition Workshop and Challenge

Michel Valstar, Jonathan Gratch+8 more|arXiv (Cornell University)|May 5, 2016

Emotion and Mood Recognition参考文献 57被引用数 109

ひとこと要約

AVEC 2016 は、DCC と MASC サブチャレンジ、およびオープンベースラインを含む、抑うつ重症度推定と情動認識のためのガイドライン、データセット、マルチモーダル手法を提示します。

ABSTRACT

The Audio/Visual Emotion Challenge and Workshop (AVEC 2016) "Depression, Mood and Emotion" will be the sixth competition event aimed at comparison of multimedia processing and machine learning methods for automatic audio, visual and physiological depression and emotion analysis, with all participants competing under strictly the same conditions. The goal of the Challenge is to provide a common benchmark test set for multi-modal information processing and to bring together the depression and emotion recognition communities, as well as the audio, video and physiological processing communities, to compare the relative merits of the various approaches to depression and emotion recognition under well-defined and strictly comparable conditions and establish to what extent fusion of the approaches is possible and beneficial. This paper presents the challenge guidelines, the common data used, and the performance of the baseline system on the two tasks.

研究の動機と目的

• 制御された再現性の条件下で、マルチモーダルな抑うつと情動分析の共通ベンチマークを提供する。
• 音声、映像、生理的モダリティを比較して、抑うつの重症度推定と情動認識を評価する。
• マルチモーダル融合を促進し、モダリティを組み合わせることから得られる潜在的な利益を評価する。
• 共用データセット（DAIC-WOZ、RECOLA）とベースライン特徴セットを公開し、再現性と比較可能性を促進する。

提案手法

• 特定のグラウンドトゥラベルと評価指標を持つ Depression Classification Sub-Challenge (DCC) と Multimodal Affect Recognition Sub-Challenge (MASC) を定義する。
• PHQ-8 によるうつ病重症度ラベルのための DAIC-WOZ を提示する。
• 連続的な覚醒と Valence の注釈の RECOLA コーパスを提示する。
• ビデオ（OpenFace、FACET）、音声（GeMAPS/eGeMAPS via openSMILE）、生理信号（ECG、EDA など）のベースライン特徴パイプラインを提供する。
• 線形 SVM with SGD を用いた分類/回帰、ランダムフォレストベースライン、およびマルチモーダル予測のレイトフュージョンを含むベースラインモデルを説明する。

実験結果

リサーチクエスチョン

• RQ1 ベースラインの音声、映像、生理的特徴を用いた抑うつ重症度推定（PHQ-8）および気分/情動予測（Arousal, Valence）の性能はどの程度か。
• RQ2 AVEC 2016 のルール下で、単一モダリティのベースラインはマルチモーダル融合と比べてどうか。
• RQ3 異なるモダリティは融合モデルにおける覚醒と Valence の予測にどの程度寄与するか。
• RQ4 提供されたベースラインは、以前の AVEC チャレンジのトップ手法と比較して再現性と公正な比較を支援できるか。

主な発見

• Baseline AVEC 2016 は、感情認識の多くのモダリティで AVEC 2015 を上回る改善を達成し、音声は覚醒に、映像は価値に優れていた。
• HRHRV ベースの生理特徴は、融合設定における覚醒予測で生の ECG より優れている。
• 音声、ECG、EDA、映像のモダリティを用いた遅延融合は、単モーダルの結果より覚醒と Valence の CCC スコアを高める。
• 映像の外観と幾何学的特徴は、覚醒と Valence の間で異なる寄与を示し、マルチモーダル融合における補完情報を示す。
• 抑うつ分類と重症度推定のベースライン（DCC）は、AVEC 2016 プロトコルの下で F1、精度、再現、RMSE、MAE の指標を提供し、直接比較を可能にする。