[論文レビュー] audEERING's approach to the One-Minute-Gradual Emotion Challenge

Andreas Triantafyllopoulos, Hesam Sagha+2 more|arXiv (Cornell University)|May 3, 2018

Emotion and Mood Recognition参考文献 5被引用数 6

ひとこと要約

本論文では、音声および映像モダリティを活用し、深層学習を用いて連続的なアーザルおよびベラランスを予測する audEERING の One-Minute-Gradual Emotion Challenge へのアプローチを提示する。CDF補正を施した音声特徴量と、VGGFaceに埋め込まれた映像特徴量を用いた二重ストリーム BLSTM ネットワークにより、アーザル（音声）で 0.343 CCC、ベラランス（映像）で 0.401 CCC の成績を達成。アンサンブル平均化とドメイン適応を用いた融合により、話者バイアスの低減が図られ、性能向上が実現された。

ABSTRACT

This paper describes audEERING's submissions as well as additional evaluations for the One-Minute-Gradual (OMG) emotion recognition challenge. We provide the results for audio and video processing on subject (in)dependent evaluations. On the provided Development set, we achieved 0.343 Concordance Correlation Coefficient (CCC) for arousal (from audio) and .401 for valence (from video).

研究の動機と目的

• 1 分間の YouTube ビデオセグメントにおける段階的なアーザルおよびベラランスのラベルが付与された連続的感情認識の課題に対処すること。
• トレーニング、開発、テストセット間のデータリークおよび話者重複を軽減することで、OMG データセット上の性能を向上させること。
• アーザル予測には音声のみのモデル、ベラランス予測には映像のみのモデルを検討し、融合によりベラランス予測の性能を向上させること。
• 交差検証、特徴量正規化、ドメイン適応技術を用いて過学習を低減し、一般化性能を向上させること。
• 話者に依存する vs. 話者に依存しないデータ分割がモデル性能に与える影響を評価すること。

提案手法

• 音声特徴量は openSMILE を用いて抽出され、2秒のウィンドウで1秒のステップで1170個のLLDと関数的特徴量が得られ、分布の正規化と外れ値への感受性の低減を目的に CDF 補正が施された。
• アーザル予測のための2層の BLSTM ネットワーク（100ユニットと40ユニット）が、負の CCC を最小化する損失関数を用いて音声特徴量上で訓練され、交差検証の結果に基づく早期停止が適用された。
• 映像処理では、MTCCN を用いて顔検出とアライメントが実施され、その後、VGGFace CNN モデルを用いて深層特徴量の抽出が行われた。
• 映像シーケンスは、2層の BLSTM ネットワーク（16ユニットと8ユニット）で処理され、顔の表情の時間的ダイナミクスをモデル化した。出力関数には tanh を使用し、平均・分散正規化が適用された。
• 話者バイアスの低減のため、ベラランス予測に加え、話者識別ミス分類を補助タスクとして組み込んだ共同学習の目的関数が導入された。
• 最終的な予測は、複数の交差検証フォールドからの出力を平均化することで得られ、トレーニングデータが統合され、再び7つのフォールドに分割され、テストセットの推論が行われた。

実験結果

リサーチクエスチョン

• RQ1 CDF補正を施した音声特徴量は、平均・分散正規化と比較して、OMG データセットにおける感情認識性能の向上にどの程度寄与するか？
• RQ2 トレーニング、開発、テストセット間の話者重複がモデルの一般化性能に及ぼす影響はどの程度で、その低減策は何か？
• RQ3 音声（アーザル）と映像（ベラランス）の特徴量を統合する二重ストリームアプローチは、単一モダリティモデルに比べて性能を向上させるか？
• RQ4 話者分類を補助タスクとするマルチタスク学習は、映像ベースのベラランス予測における話者固有バイアスへのモデルのロバスト性を向上させるか？
• RQ5 交差検証フォールド間でのアンサンブル平均化は、予測の安定性と CCC スコアの向上にどの程度効果的か？

主な発見

• アーザル予測の最良な音声のみのモデルは、CDF補正を施した特徴量とランダムシャッフルを用いて、公式開発セットで 0.343 CCC を達成した。
• ベラランス予測の最良な映像のみのモデルは、CDF補正を施した特徴量とランダムシャッフルを用いて、開発セットで 0.401 CCC を達成し、話者に依存しないフォールドを上回った。
• 話者に依存しない交差検証では、ベラランスの CCC が 0.232 に低下し、データリークおよび話者バイアスによる顕著な性能低下が示された。
• 話者識別ミス分類を補助タスクとして共同学習させた結果、ベラランスの CCC は 0.360（話者に依存しない）から 0.390 に向上し、ランダムシャッフルの性能に近づいた。
• 音声と映像の予測を融合したベラランス予測では、CCC が 0.388 に向上し、マルチモーダル統合の有効性が裏付けられた。
• CDF補正は、特に特徴量分布における外れ値への感受性を低減する点で、平均・分散正規化を上回る性能を示した。