[論文レビュー] M2P2: Multimodal Persuasion Prediction using Adaptive Fusion

Chongyang Bai, Haipeng Chen+3 more|arXiv (Cornell University)|Jun 3, 2020

Misinformation and Its Impacts被引用数 5

ひとこと要約

M2P2は、音声、視覚、言語モダリティを活用して、議論の結果予測（DOP）および新たに導入された説得力の強度予測（IPP）の2つの問題を解決する、革新的なアダプティブ融合フレームワークを提案する。双モジュールアーキテクチャにより、単一モダリティのリファレンスモデルを用いてモダリティの整合性と非一様性を学習することで、DOPでは前人未到の2%〜3.7%の性能向上を達成し、IPPではMSEで25%以上改善した。

ABSTRACT

Identifying persuasive speakers in an adversarial environment is a critical task. In a national election, politicians would like to have persuasive speakers campaign on their behalf. When a company faces adverse publicity, they would like to engage persuasive advocates for their position in the presence of adversaries who are critical of them. Debates represent a common platform for these forms of adversarial persuasion. This paper solves two problems: the Debate Outcome Prediction (DOP) problem predicts who wins a debate while the Intensity of Persuasion Prediction (IPP) problem predicts the change in the number of votes before and after a speaker speaks. Though DOP has been previously studied, we are the first to study IPP. Past studies on DOP fail to leverage two important aspects of multimodal data: 1) multiple modalities are often semantically aligned, and 2) different modalities may provide diverse information for prediction. Our M2P2 (Multimodal Persuasion Prediction) framework is the first to use multimodal (acoustic, visual, language) data to solve the IPP problem. To leverage the alignment of different modalities while maintaining the diversity of the cues they provide, M2P2 devises a novel adaptive fusion learning framework which fuses embeddings obtained from two modules -- an alignment module that extracts shared information between modalities and a heterogeneity module that learns the weights of different modalities with guidance from three separately trained unimodal reference models. We test M2P2 on the popular IQ2US dataset designed for DOP. We also introduce a new dataset called QPS (from Qipashuo, a popular Chinese debate TV show ) for IPP. M2P2 significantly outperforms 4 recent baselines on both datasets.

研究の動機と目的

• 説得力の強度予測（IPP）という、投票の変化を指標として個人の発表者の説得力を測るという、これまでの解決策の欠如している新規問題に対処すること。
• 音声、視覚、言語のマルチモーダルデータを、従来の手法よりも効果的に活用することで、議論の結果予測（DOP）を改善すること。
• 複数のモダリティ間で共有される情報（整合性）と、モダリティ固有の特徴（非一様性）を同時に捉えるフレームワークの開発。
• 中国のディベート番組「Qipashuo」から得た新たなデータセットQPSの作成と公開を通じて、今後の説得力予測分野の研究を支援すること。

提案手法

• M2P2は二段階のアーキテクチャを採用：モダリティ間で共有される表現を抽出する統合モジュールと、モダリティ固有の重みを学習する非一様性モジュール。
• 非一様性モジュールは、別々に訓練された単一モダリティのリファレンスモデル（音声、視覚、言語）によってガイドされ、融合過程で各モダリティに動的な重要性を割り当てる。
• 統合モジュールと非一様性モジュールからの埋め込みを組み合わせることで、アダプティブな統合を実現し、信頼性の高い情報を持つモダリティに焦点を当てる。
• IQ2USでは、文の埋め込みはユニバーサル文書エンコーダーを用いて算出される。QPSでは、微調整されたLSTMを用いて128次元の文の埋め込みが学習される。
• マルチモーダルシーケンス全体をエンドツーエンドで学習し、DOP（分類）とIPP（回帰）にそれぞれ最適化された損失関数が適用される。
• アブレーションスタディおよびモダリティ重み分析により、特に言語と音声モダリティが、視覚モダリティよりも情報量が多く、動的に優先される能力が裏付けられた。

Figure 1 : In multimodal content, the modalities are semantically aligned. This example shows a case where the visual modality (facial expressions) and the language modality (the content of the speech) are closely aligned.

実験結果

リサーチクエスチョン

• RQ1 投票の変化を指標として個人の発表者の説得力を測るIPPを、チームレベルの結果を超えて効果的に予測できるマルチモーダルディープラーニングフレームワークは存在するか？
• RQ2 意味的整合性と情報の非一様性を併せ持つ複数モダリティ（音声、視覚、言語）を、どのように適応的に統合できるか？
• RQ3 低データ環境下で、非一様性モジュールによるモダリティ固有の重要度学習が、アテンション機構を上回る性能を示すか？
• RQ4 単一モダリティのリファレンスモデルが、マルチモーダル統合フレームワークの性能向上にどの程度寄与するか？
• RQ5 実世界のディベートTV番組から得たような新規データセット（例：QPS）は、IPPモデルの信頼性と一般化性能の評価を可能にするか？

主な発見

• IQ2USデータセットにおいて、M2P2は最近のベースラインを2%〜3.7%上回るDOPの正確性を達成し、p < 0.05の統計的有意性を示した。
• 新規のQPSデータセットにおいて、M2P2は適応ベースラインと比較して、IPPの平均二乗誤差（MSE）を25%以上低減し、p < 0.01の有意性を示した。これは、優れた一般化性能を示している。
• アブレーションおよびモダリティ重み分析の結果、言語モダリティが予測に最も寄与し、次に音声モダリティが続き、視覚モダリティが最も効果が低かった。
• IQ2USでは語彙レベルの埋め込みが文レベルの埋め込みを1.4%上回り、QPSではMSEが20%改善された。これは、微細な意味的構造が重要であることを示している。
• パrameter数が少なく、小規模データセットでもより良い一般化性能を示すため、非一様性モジュールはアテンション機構を上回った。過学習を回避する効果も確認された。
• 実時間での説得力予測が正確に達成された。図LABEL:fig:real_time_predictionに示すように、M2P2の出力は議論中の真値の投票変化をよく追跡している。

(a) There are cases where the visual modality is noisy, while the language modality is clean. In 4 consecutive frames when the woman is speaking, the face of a man appears (see frames 2 and 3) and the man’s face is incorrectly assumed to be the woman’s. The language modality, however, is correct.