[論文レビュー] Multimodal Fusion Refiner Networks

Sethuraman Sankaran, David Y. Yang+1 more|arXiv (Cornell University)|Apr 8, 2021

Anomaly Detection Techniques and Applications参考文献 54被引用数 9

ひとこと要約

本稿では、潜在空間における単モodalおよびマルチモーダル表現のバランスを図るために責任条件を課すことで、マルチモーダル統合を向上させるモジュラーなフレームワーク、Refiner Fusion Network (ReFNet) を提案する。リファイナーモジュールと統合ネットワーク、対照的学習を組み合わせることで、ReFNet は下流タスクにおける性能を向上させ、潜在空間におけるクラスタリングを改善し、限られたラベル付きデータでも高い精度を維持する。

ABSTRACT

Tasks that rely on multi-modal information typically include a fusion module that combines information from different modalities. In this work, we develop a Refiner Fusion Network (ReFNet) that enables fusion modules to combine strong unimodal representation with strong multimodal representations. ReFNet combines the fusion network with a decoding/defusing module, which imposes a modality-centric responsibility condition. This approach addresses a big gap in existing multimodal fusion frameworks by ensuring that both unimodal and fused representations are strongly encoded in the latent fusion space. We demonstrate that the Refiner Fusion Network can improve upon performance of powerful baseline fusion modules such as multimodal transformers. The refiner network enables inducing graphical representations of the fused embeddings in the latent space, which we prove under certain conditions and is supported by strong empirical results in the numerical experiments. These graph structures are further strengthened by combining the ReFNet with a Multi-Similarity contrastive loss function. The modular nature of Refiner Fusion Network lends itself to be combined with different fusion architectures easily, and in addition, the refiner step can be applied for pre-training on unlabeled datasets, thus leveraging unsupervised data towards improving performance. We demonstrate the power of Refiner Fusion Networks on three datasets, and further show that they can maintain performance with only a small fraction of labeled data.

研究の動機と目的

• 既存のマルチモーダル統合フレームワークがマルチモーダル表現に重点を置いている一方で、強力な単モーダル信号を十分に活用していないという限界に対処すること。
• 責任条件を導入することで統合モジュールの正則化を図り、勾配消失を防止することで、統合表現の質を向上させること。
• リファイナーモジュールを用いて、統合された埋め込み空間に潜在的なグラフィカル構造を誘導すること。
• リファイナーモジュールを介した自己教師付き事前学習を活用することで、最小限のラベル付きデータで性能を向上させること。
• リファイナーモジュールをメトリクス学習と組み合わせることで、マルチモーダルタスクにおけるクラスタリングおよび表現学習を向上させること。

提案手法

• ReFNetアーキテクチャは、融合モジュールとリファイナーモジュールを統合しており、リファイナーモジュールは融合された特徴をモーダル固有の表現に復元する。この際、元の特徴と復元された特徴の間のコサイン類似度損失を用いて責任条件を課す。
• 責任条件は正則化として機能し、訓練中に単モーダルおよびマルチモーダルニューロンのバランスの取れた学習を促進する。
• リファイナーモジュールは融合後に行われ、ViLBERT などのマルチモーダルトランスフォーマを含む、既存のあらゆる統合アーキテクチャに統合可能である。
• マルチシミリラティ（Multi-Similarity）対照的損失を適用することで、サンプルおよびモーダル間の潜在的グラフィカル構造を強化し、埋め込み空間におけるクラスタリングを改善する。
• リファイナーモジュールにより、ラベルなしデータを用いた事前学習が可能となり、無教師データを活用して下流タスクの性能を向上させることができる。
• T-SNE可視化を用いて、潜在空間における統合埋め込みの改善されたクラスタリングを分析・検証する。

実験結果

リサーチクエスチョン

• RQ1 責任に基づくリファイナーモジュールは、ViLBERT などの強力なベースラインモデルを上回るマルチモーダル統合性能を実現できるか？
• RQ2 リファイナーモジュールは、統合された埋め込み空間に意味のある潜在的グラフィカル構造を誘導するのか？また、特定の条件下でこれを証明できるか？
• RQ3 リファイナーモジュールをメトリクス学習（例：マルチシミリラティ損失）と組み合わせることで、表現品質および下流タスク性能にどのような影響を与えるか？
• RQ4 ReFNet は、ラベル付きデータのわずかな割合しか利用できない状況でも、どの程度の性能を維持できるか？
• RQ5 1つのモーダルが統合プロセスを支配する場合、リファイナーモジュールは勾配消失を緩和し、学習を改善するのか？

主な発見

• Hateful Meme データセットにおいて、ReFNet は ViLBERT ベースラインと比較して相対的な正確度向上が 5.53% 以上、AUC 向上が 1.84% に達した。
• MM-IMDB データセットでは、ラベル付きデータがたった 5% の場合でも、ReFNet はマイクロ-F1 を 4.05、マクロ-F1 を 13.77 向上させ、さらにメトリクス学習を組み合わせた ReFNet MS ではさらなる向上が得られた。
• T-SNE 可視化では、ReFNet が ViLBERT よりも明確に分離されたクラスタを生成しており、ReFNet MS では視覚的および言語的モーダルの各3クラスに対応する6つの明確なクラスタが得られた。
• リファイナーモジュールは、特定の条件下で解析的に支持され、クラスタリングによる実証的検証も得られた、強い潜在的グラフィカル構造を埋め込み空間に誘導した。
• ReFNet はデータ不足に対しても頑健であり、最小限のラベル付きデータでも高い性能を維持でき、アノテーションコストの削減に寄与した。
• 1つのモーダルが統合プロセスを支配する状況でも、リファイナーモジュールは勾配消失を緩和し、表現学習を改善した。