[論文レビュー] Multi-modal Sentiment Analysis using Deep Canonical Correlation Analysis

Zhongkai Sun, Prathusha K Sarma+2 more|arXiv (Cornell University)|Jul 15, 2019

Sentiment Analysis and Opinion Mining参考文献 18被引用数 10

ひとこと要約

本稿では、文書、音声、映像特徴を統合的に埋め込むために深層正準相関分析（DCCA）を用いたマルチモーダルセンチメント分析フレームワークを提案する。BERTを用いて高品質な文書符号化を実現し、ワンステップおよびツーステップDCCAを適用して相関のある表現を学習することで、CMU-MOSI、CMU-MOSEI、および新規のDebate Emotionデータセットにおいて最先端の性能を達成した。特に、BERTによる優れた特徴学習のおかげで、文書が最も顕著な寄与を示した。

ABSTRACT

This paper learns multi-modal embeddings from text, audio, and video views/modes of data in order to improve upon down-stream sentiment classification. The experimental framework also allows investigation of the relative contributions of the individual views in the final multi-modal embedding. Individual features derived from the three views are combined into a multi-modal embedding using Deep Canonical Correlation Analysis (DCCA) in two ways i) One-Step DCCA and ii) Two-Step DCCA. This paper learns text embeddings using BERT, the current state-of-the-art in text encoders. We posit that this highly optimized algorithm dominates over the contribution of other views, though each view does contribute to the final result. Classification tasks are carried out on two benchmark datasets and on a new Debate Emotion data set, and together these demonstrate that the one-Step DCCA outperforms the current state-of-the-art in learning multi-modal embeddings.

研究の動機と目的

• 文書、音声、映像の3モダリティから深層正準相関分析を用いて統合的表現を学習することで、マルチモーダルセンチメント分類の性能を向上させること。
• 最終的なセンチメント分類性能における各モダリティ（文書、音声、映像）の相対的寄与度を調査すること。
• ワンステップおよびツーステップDCCAフレームワークが、センチメント分類のためのマルチモーダル特徴を統合する上で有効であるかを評価すること。
• マルチモーダル学習において微調整なしに事前学習済みBERTを固定エンコーダーとして用いることの有効性を示すこと。
• ベンチマークデータセットに加え、新規のDebate Emotionデータセットを導入・評価し、マルチモーダルセンチメント分析のための基準としての有効性を検証すること。

提案手法

• 文書、音声、映像モダリティ間の非線形かつ相関のある表現を学習するために、深層正準相関分析（DCCA）を用いる。
• 文書特徴を抽出するため、微調整なしにBERTを固定エンコーダーとして用いる。
• ツーステップDCCAを適用し、まず音声と映像の相関を学習した後、その結果を文書表現と統合する。
• ワンステップDCCAを用いて、3つのモダリティを一度の最適化ステップで同時に相関のある表現を学習する。
• 音声および映像特徴抽出にはBiLSTM、3D-CNN、openSMILEを用い、文書特徴はBERTが提供する。
• DCCAを用いてモダリティを統合し、視覚的ビュー間の正準相関を最大化することで、相関のないノイズを効果的にフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 文書、音声、映像の3モダリティを統合することで、単一モダリティ手法と比較してセンチメント分類精度がどの程度向上するか？
• RQ2 最終的なマルチモーダルセンチメント分類性能における、各モダリティ（文書、音声、映像）の相対的寄与度はどの程度か？
• RQ3 順次処理を行うツーステップDCCAアプローチが、同時にすべてのモダリティを統合するワンステップDCCA手法を上回る性能を示すか？
• RQ4 事前学習済みBERTを固定エンコーダーとして用いることで、マルチモーダルセンチメント分類の性能がどの程度向上するか？
• RQ5 提案されたDCCAベースの統合手法は、ベンチマークおよび新規データセットにおいて、既存の最先端手法と比較してどのように差をつけるか？

主な発見

• ワンステップDCCA手法は、CMU-MOSI、CMU-MOSEI、およびDebate Emotionデータセットにおいて、既存の最先端手法を上回り、MOSIでは92.05%、MOSEIでは91.34%の精度を達成した。
• DCCAフレームワークにおいて文書、音声、映像の3モダリティを併用した場合が、最も高い分類精度を示し、マルチモーダル統合の有効性を裏付けた。
• ツーステップDCCAアプローチは、音声と映像を最初に相関させた後、文書表現と統合する方法であり、ワンステップDCCAと同等の性能を示した。MOSEIでは91.34%、Debate EmotionではF1スコア83.33%を達成した。
• BERTによる文書表現が最終表現を支配しており、文書が含まれるだけで一貫した性能向上が見られたことから、その寄与度が顕著であることが示された。ただし、音声および映像も有意義な寄与を示していた。
• 文書と他のモダリティとの間の性能格差は、BERTが大規模なテキストデータ上で高度に最適化されていることによるものであり、音声および映像の特徴抽出手法がまだ十分に発展していない可能性を示唆している。
• 統合戦略（ワンステップ対ツーステップ）およびモダリティの処理順序が性能に顕著な影響を及ぼすことが判明し、音声と映像の相関を最初に処理し、その後に文書を統合するアプローチが最も優れた結果をもたらした。