[論文レビュー] Investigating Audio, Visual, and Text Fusion Methods for End-to-End Automatic Personality Prediction

Onno P. Kampman, Elham J. Barezi+2 more|arXiv (Cornell University)|May 2, 2018

Computational and Text Analysis Methods被引用数 25

ひとこと要約

本論文は、音声、動画、テキスト入力をエンドツーエンド学習で統合する三モードのディープラーニングアーキテクチャを提案し、Big Fiveパーソナリティ特性を予測する。各モダリティにスタックドCNNを適用し、統合ネットワーク全体にバックプロパゲーションを実行することで、最高の単一モダリティ（動画）に対して9.4%の向上を達成した。これは、モダリティ間の複雑で非線形な相互作用が、パーソナリティ予測性能を顕著に向上させることを示している。

ABSTRACT

We propose a tri-modal architecture to predict Big Five personality trait scores from video clips with different channels for audio, text, and video data. For each channel, stacked Convolutional Neural Networks are employed. The channels are fused both on decision-level and by concatenating their respective fully connected layers. It is shown that a multimodal fusion approach outperforms each single modality channel, with an improvement of 9.4\% over the best individual modality (video). Full backpropagation is also shown to be better than a linear combination of modalities, meaning complex interactions between modalities can be leveraged to build better models. Furthermore, we can see the prediction relevance of each modality for each trait. The described model can be used to increase the emotional intelligence of virtual agents.

研究の動機と目的

• 音声、動画、テキストを用いたエンドツーエンド自動パーソナリティ予測におけるマルチモーダル統合の有効性を調査すること。
• 意思決定レベル、特徴量連結、全バックプロパゲーションの異なる統合戦略が、パーソナリティ特性予測性能に与える影響を比較すること。
• 各モダリティ（音声、テキスト、動画）が個々のBig Five特性予測に寄与する程度を分析すること。
• エンドツーエンド学習による生の入力処理が、従来の特徴工学的手法を上回るかどうかを評価すること。
• 線形結合を超える、複雑で非線形なモダリティ間相互作用が予測性能をどのように向上させるかを理解すること。

提案手法

• 音声、テキスト、動画入力それぞれに、手作業で特徴を設計しないスタックド畳み込みニューラルネットワーク（CNN）ブランチを別々に使用する。
• 音声入力は8 kHzの生波形であり、トレーニング中に音量バイアスを軽減するため振幅をランダム化する。2チャネル入力は生波形とその二乗振幅を含み、エネルギーの捉えを強化する。
• テキスト入力は、Google Newsから事前学習された300次元のword2vec埋め込みを用い、言語的パターンを抽出するためにCNNを適用する。
• 動画入力は、顔貌や視覚的手がかりを抽出するためCNNで処理され、各畳み込み層の出力にグローバル平均プーリングを適用する。
• 統合は、最終全結合層出力の連結によって行われ、全バックプロパゲーションにより、すべてのモダリティにわたるエンドツーエンド最適化が可能になる。
• モデルはエンドツーエンドでトレーニングされ、シグモイド出力層を用いて[0,1]範囲の5つのパーソナリティスコア（外向性、協力度、誠実性、神経症傾向、開放性）を予測する。

実験結果

リサーチクエスチョン

• RQ1 音声、視覚的、言語的モダリティが、Big Fiveパーソナリティ特性の予測にそれぞれどのように寄与するか？
• RQ2 マルチモーダル統合は、単一モダリティモデルと比較して、顕著にパーソナリティ予測精度を向上させるか？
• RQ3 意思決定レベル、特徴量連結、全バックプロパゲーションのうち、どの統合戦略が最高のパフォーマンスを達成するか？
• RQ4 モダリティ間の複雑で非線形な相互作用は、線形結合を超えてどれほど予測性能を向上させるか？
• RQ5 どのパーソナリティ特性がどのモダリティから最も予測可能であり、時間的文脈はパフォーマンスにどのように影響するか？

主な発見

• 全バックプロパゲーション統合法は、平均二乗誤差（MSE）0.0938を達成し、最高の単一モダリティ（動画）の0.1034 MSEに対して9.4%の向上を示した。
• 全バックプロパゲーションは、意思決定レベル統合および線形特徴量連結よりも優れており、モダリティ間の非自明で学習された相互作用がパフォーマンス向上に不可欠であることを示している。
• 神経症傾向と外向性は、予測が最も簡単な特性であり、協力度は全統合手法において最も困難な特性であった。
• テキストモダリティは、協力度と誠実性を除き、予測に最も寄与しなかった。これは、ほとんどの特性に対して言語的信号が限られていることを示唆している。
• 動画（外見）は音声（プロソディーとトーン）よりもわずかに情報量が多く、視覚的手がかりがパーソナリティ認識においてより強い役割を果たしていることを示している。
• 生の入力とエンドツーエンド学習を用いても、DCCやevolgenを含むChaLearn 2016チャレンジの上位手法と同等のパフォーマンスを達成した。