[論文レビュー] ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors

Huaishao Luo, Lei Ji+4 more|arXiv (Cornell University)|Dec 2, 2021

Sentiment Analysis and Opinion Mining参考文献 48被引用数 8

ひとこと要約

本稿では、異なる意味的粒度におけるテキスト、動画、音声特徴を統合するために共有されたローカルに集約された記述子（VLAD）を用いる、マルチスケール融合手法ScaleVLADを提案する。学習可能な潜在的意味ベクトルと自己教師付きシフトクラスタリング損失を用いることで、特徴の差別化が向上し、IEMOCAP、MOSI、MOSEIのベンチマークで最先端の性能を達成する。

ABSTRACT

Fusion technique is a key research topic in multimodal sentiment analysis. The recent attention-based fusion demonstrates advances over simple operation-based fusion. However, these fusion works adopt single-scale, i.e., token-level or utterance-level, unimodal representation. Such single-scale fusion is suboptimal because that different modality should be aligned with different granularities. This paper proposes a fusion model named ScaleVLAD to gather multi-Scale representation from text, video, and audio with shared Vectors of Locally Aggregated Descriptors to improve unaligned multimodal sentiment analysis. These shared vectors can be regarded as shared topics to align different modalities. In addition, we propose a self-supervised shifted clustering loss to keep the fused feature differentiation among samples. The backbones are three Transformer encoders corresponding to three modalities, and the aggregated features generated from the fusion module are feed to a Transformer plus a full connection to finish task predictions. Experiments on three popular sentiment analysis benchmarks, IEMOCAP, MOSI, and MOSEI, demonstrate significant gains over baselines.

研究の動機と目的

• 単一スケールの統合における限界を解消する。具体的には、単一モodal表現がトークンレベルまたは発話レベルでのみ統合されるという点。
• 時間的・意味的粒度が異なるモダリティ間で意味的不整合を低減する。特に、非言語的信号（例：音声、動画）に明確な意味的境界が存在しない場合に有効である。
• 新たな自己教師付き損失を用いてラベル情報を活用することで、統合表現空間における特徴の差別化を向上させる。
• テキスト、動画、音声の各モダリティに共通する学習可能な潜在的意味ベクトルを用いて、柔軟なマルチスケールの統合を可能にする。
• 特徴統合とクラスタリングの共同最適化により、標準的なマルチモーダルセンチメント分析ベンチマークで最先端の性能を達成する。

提案手法

• ScaleVLADは、テキスト、動画、音声から各モダリティ固有の特徴を抽出するために、3つのモダリティ特化されたTransformerエンコーダーを採用する。
• 各モダリティに対して、異なる粒度（例：1、2、3、10トークン／ウィンドウ）のローカル特徴を抽出するためにマルチスケールスライディングウィンドウ機構を適用する。
• 学習可能なコードブックを用いて、ローカル特徴を共有されたローカルに集約された記述子（VLAD）に集約する。ここで共有されたベクトルは、複数のモダリティ間で共通する意味的トピックとして機能する。
• 動的更新されたクラスタ中心を維持する自己教師付きシフトクラスタリング損失（S3C）を用い、サンプル間の特徴差別化を強化する。
• ScaleVLADから得られる統合特徴は、Transformerエンコーダーと全結合ネットワークを通じて処理され、最終的なセンチメント予測が行われる。
• モデル全体は、分類用の交差エントロピー損失と表現学習用のS3C損失の両方を用いて、共同で訓練される。

実験結果

リサーチクエスチョン

• RQ1 異なる意味的粒度にわたる特徴の統合を可能にするローカル記述子のマルチスケール統合は、マルチモーダルセンチメント分析の性能向上に寄与するか？
• RQ2 学習可能な共有潜在的意味ベクトルは、時間的・意味的解像度が異なるテキスト、動画、音声モダリティ間の意味的ギャップを効果的に埋めるか？
• RQ3 自己教師付きシフトクラスタリング損失は、明示的な教師信号を必要とせずに、統合マルチモーダル表現の差別化能力を向上させるか？
• RQ4 さまざまなマルチモーダルセンチメント分析ベンチマークにおいて、ScaleVLADは最先端の手法と比較してどの程度の性能を示すか？
• RQ5 マルチスケール統合とS3C損失は、非同期なマルチモーダル設定において、性能向上にどの程度寄与しているか？

主な発見

• ScaleVLADは、すべての3つのベンチマーク（IEMOCAP、CMU-MOSI、CMU-MOSEI）で新たな最先端の結果を達成した。
• IEMOCAPでは、84.5％の正確度と86.4％のF1スコアを達成し、MISA や Self-MM といった従来の最先端手法を上回った。
• CMU-MOSEIでは、84.7％のF1スコアと0.781の相関係数を達成し、TFN、MulT、ICCN といったモデルを上回った。
• アブレーションスタディの結果、マルチスケール統合とS3C損失の両方が不可欠であることが確認され、いずれのコンponentを削除するとF1スコアが1.4–1.5％低下した。
• t-SNE可視化により、S3C損失が埋め込み空間においてより密で分離性の高いクラスタを形成することが確認された。特に、類似したセンチメントスコアを持つサンプルに対して顕著であった。
• モデルは動的にモダリティ間の統合パターンを学習し、共有ベクトルが複数トークンのフレーズ（例：'really really loved'）や、長時間にわたる音声／動画セグメントを効果的に捉えていた。