[論文レビュー] $M^3$T: Multi-Modal Continuous Valence-Arousal Estimation in the Wild

Yuanhang Zhang, Rulin Huang+3 more|arXiv (Cornell University)|Feb 7, 2020

Speech and Audio Processing参考文献 23被引用数 6

ひとこと要約

本稿では、動画と音声信号を用いて野生環境下での連続的価値・覚醒度推定を目的とした、マルチモーダル・マルチタスクフレームワーク $M^{3}$T を提案する。3次元畳み込みニューラルネットワーク（3D CNN）を用いて空間的・時間的視覚特徴を抽出し、双方向RNNを用いて時系列モデリングを実施する。感情認識と顔面行動単位検出を補助タスクとして統合し、ABAW 2020の検証セットにおいて平均一致相関係数（CCC）0.44を達成した。これは従来手法を顕著に上回る性能である。

ABSTRACT

This report describes a multi-modal multi-task ($M^3$T) approach underlying our submission to the valence-arousal estimation track of the Affective Behavior Analysis in-the-wild (ABAW) Challenge, held in conjunction with the IEEE International Conference on Automatic Face and Gesture Recognition (FG) 2020. In the proposed $M^3$T framework, we fuse both visual features from videos and acoustic features from the audio tracks to estimate the valence and arousal. The spatio-temporal visual features are extracted with a 3D convolutional network and a bidirectional recurrent neural network. Considering the correlations between valence / arousal, emotions, and facial actions, we also explores mechanisms to benefit from other tasks. We evaluated the $M^3$T framework on the validation set provided by ABAW and it significantly outperforms the baseline method.

研究の動機と目的

• 野生的で制約のない動画環境下における連続的価値・覚醒度推定を、マルチモーダルおよびマルチタスク学習を用いて向上させること。
• 分類的感情認識と顔面行動単位検出といった補助タスクが、価値および覚醒度推定の性能に与える影響を調査すること。
• ラテン・フェージョンおよび注目メカニズムを用いた、視覚的および音声的特徴の早期統合の有効性を検討すること。
• 3次元畳み込みネットワークバックボーンの事前学習が、エンドツーエンドの感情認識性能に与える影響を評価すること。
• Aff-Wild2データセットを用いて、マルチモーダルで連続的感情推定の強力なベースラインを確立すること。

提案手法

• フレームワークは、動画クリップからの空間的・時間的視覚特徴を抽出するための3次元VGGに類似したバックボーンを採用し、価値および覚醒度のそれぞれに分岐する。
• 視覚的特徴は、感情認識および顔面行動単位検出のための事前学習済みモデルから得られる2次元静的特徴と連結することで強化される。
• 抽出された視覚的特徴の長距離時系列依存性をモデル化するために、双方向GRUが使用される。
• 音声的特徴は、別個の音声サブネットワークを用いて抽出され、GRUおよび全結合層を介して回帰に用いられる。
• 最終予測の前に、視覚的および音声的特徴を連結するか、注目メカニズムを用いてラテン・フェージョンが適用される。
• マルチタスク損失を用いてモデルを訓練する。価値および覚醒度の回帰には平均二乗誤差を、感情認識には交差エントロピーを用いる。

実験結果

リサーチクエスチョン

• RQ1 分類的感情認識や顔面行動単位検出といった補助タスクが、連続的価値・覚醒度推定の性能向上に寄与するか。
• RQ2 視覚的および音声的モダリティ特徴の統合は、野生環境下での感情推定性能を向上させるのにどの程度有効か。
• RQ3 大規模な動画データセット（例：VoxCeleb2）で3次元畳み込みネットワークを事前学習することで、Aff-Wild2ベンチマークでの性能が向上するか。
• RQ4 注目ベースの統合は、単純な連結に比べて、マルチモーダル感情推定において優れているか。
• RQ5 連結と注目メカニズムの異なる特徴統合戦略（例：連結対比・注目）が、価値および覚醒度予測の最終性能に与える影響は何か。

主な発見

• 提案された $M^{3}$Tフレームワークは、ABAW 2020の検証セットで平均一致相関係数（CCC）0.44を達成し、ベースライン手法を顕著に上回った。
• アーカイブ推定ではCCCが0.55に達し、3次元畳み込みによる時系列ダイナミクスの効果的なモデリングが寄与したと考えられる。
• VoxCeleb2で3次元バックボーンを事前学習することで性能が向上し、事前学習を用いた場合の平均CCCは0.42、初期化から学習を始めた場合の0.40と比較して向上した。
• 連結による音声・視覚統合は注目ベースの統合（CCC = 0.42）よりも優れた結果（CCC = 0.44）を示したが、これは訓練時間の不足が要因である可能性がある。
• アーカイブ分岐においてAU特徴の代わりにSENNet-101特徴を使用したことで、性能が向上した。これは、アーカイブと強い相関があることを示唆している。
• 音声と動画信号の統合により、アーカイブ推定には顕著な改善が見られたが、価値推定には顕著な改善が見られず、先行研究と整合的である。