[論文レビュー] Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis

Licai Sun, Zheng Lian+2 more|arXiv (Cornell University)|Aug 16, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、グローバル・ローカルなクロスマodal相互作用をモデル化し、二段階の特徴再構築を採用することで、効率的で頑健なセンチメント分析を可能にする、新しいマルチモーダルトランスフォーマーフレームワークEMT-DLFRを提案する。本手法は、完全および不完全なモダリティ設定の下で、3つのベンチマークでSOTA性能を達成し、ランダムなモダリティ欠落に対しても優れた効率性と頑健性を示している。

ABSTRACT

With the proliferation of user-generated online videos, Multimodal Sentiment Analysis (MSA) has attracted increasing attention recently. Despite significant progress, there are still two major challenges on the way towards robust MSA: 1) inefficiency when modeling cross-modal interactions in unaligned multimodal data; and 2) vulnerability to random modality feature missing which typically occurs in realistic settings. In this paper, we propose a generic and unified framework to address them, named Efficient Multimodal Transformer with Dual-Level Feature Restoration (EMT-DLFR). Concretely, EMT employs utterance-level representations from each modality as the global multimodal context to interact with local unimodal features and mutually promote each other. It not only avoids the quadratic scaling cost of previous local-local cross-modal interaction methods but also leads to better performance. To improve model robustness in the incomplete modality setting, on the one hand, DLFR performs low-level feature reconstruction to implicitly encourage the model to learn semantic information from incomplete data. On the other hand, it innovatively regards complete and incomplete data as two different views of one sample and utilizes siamese representation learning to explicitly attract their high-level representations. Comprehensive experiments on three popular datasets demonstrate that our method achieves superior performance in both complete and incomplete modality settings.

研究の動機と目的

• 非同期なマルチモーダルシーケンスにおけるクロスマodal相互作用をモデル化する際の、従来手法の非効率性に対処すること。
• 現実世界で一般的なランダムなモダリティ特徴欠落状況下でのモデルの頑健性を向上させること。
• マルチモーダル統合における計算複雑度を低減しながら、性能を維持または向上させること。
• 完全および不完全なモダリティ条件の下で、効率的な統合と頑健な表現学習を統合すること。
• 暗黙の低レベル再構築と明示的な高レベル表現アライメントを通じて、不完全なデータからの有効な学習を可能にすること。

提案手法

• EMTは、発話レベルの表現から得られるグローバルマルチモーダルコンテキストを導入し、局所的同士のアテンションの2次関数的複雑度を回避する、効率的なグローバル・ローカルクロスマodal相互作用を実現する。
• 階層的パラメータ共有を採用することで、パラメータの効率性を向上させ、トレーニングを容易にする。
• DLFRは、不完全なデータからの意味的学習を暗黙的に促進するために、低レベル特徴再構築を実行する。
• DLFRは、同じサンプルの完全および不完全なビューの高レベル表現を明示的にアライメントするために、シアンズ表現学習を用いる。
• フレームワークは完全および不完全なデータを2つのビューとみなして、対照的学習を活用し、頑健で共通の表現を引き寄せる。
• モデルはテキストにBERTを用い、欠落した音声および視覚特徴はゼロでパディングし、欠落したテキストトークンは[UNK]に置き換える。

実験結果

リサーチクエスチョン

• RQ1 グローバル・ローカルクロスマodal相互作用は、局所的同士のアテンションと比較して、計算複雑度を低減しながら性能を維持または向上させることができるか？
• RQ2 低レベル特徴再構築は、ランダムなモダリティ欠落に対する頑健性を向上させるためにどれほど効果的か？
• RQ3 シアンズ学習による明示的な高レベル表現アライメントは、不完全な状況下での頑健性をさらに向上させることができるか？
• RQ4 暗黙的および明示的再構築戦略の組み合わせは、単独で用いる場合よりも優れた性能をもたらすか？
• RQ5 提案されたフレームワークは、完全および不完全なモダリティシナリオの両方で一般化可能であり、一貫した向上を示せるか？

主な発見

• EMT-DLFRは、完全および不完全なモダリティ設定の下で、3つの代表的なマルチモーダルセンチメント分析データセットにおいて、SOTA性能を達成した。
• グローバル・ローカルアテンション機構は、局所的同士の方法と比較して、モダリティ数に対して線形スケーリングを達成するなど、計算コストを顕著に低減した。
• 低レベル特徴再構築は、高レベル表現アライメント単体よりも、欠落したモダリティ特徴に対する頑健性向上においてより効果的であることが示された。
• 両方の二段階再構築戦略の組み合わせは補完的改善をもたらし、全体的な性能を優れたものにした。
• 可視化結果から、中程度の欠落率下でも、モデルは意味のあるクロスマodal信号に注目を保ち続け、欠落したトークンに対しても部分的な注目を示しており、頑健性が裏付けられた。
• 提案されたOAGL（グローバル・ローカル）戦略のアテンション行列は、OOLL（局所的同士）と比較して、冗長性が低く、誤った相関に起因する過学習のリスクが低いことが確認された。