[論文レビュー] Multimodal Fusion on Low-quality Data: A Comprehensive Survey

Qingyang Zhang, Yake Wei+9 more|arXiv (Cornell University)|Apr 27, 2024

Advanced Computational Techniques and Applications被引用数 16

ひとこと要約

低品質データの下でマルチモーダル融合を体系化・分析する包括的な調査で、ノイズのある、不完全、アンバランス、品質が変動するモダリティを網羅し、オープンな問題と将来の方向性について議論する。

ABSTRACT

Multimodal fusion focuses on integrating information from multiple modalities with the goal of more accurate prediction, which has achieved remarkable progress in a wide range of scenarios, including autonomous driving and medical diagnosis. However, the reliability of multimodal fusion remains largely unexplored especially under low-quality data settings. This paper surveys the common challenges and recent advances of multimodal fusion in the wild and presents them in a comprehensive taxonomy. From a data-centric view, we identify four main challenges that are faced by multimodal fusion on low-quality data, namely (1) noisy multimodal data that are contaminated with heterogeneous noises, (2) incomplete multimodal data that some modalities are missing, (3) imbalanced multimodal data that the qualities or properties of different modalities are significantly different and (4) quality-varying multimodal data that the quality of each modality dynamically changes with respect to different samples. This new taxonomy will enable researchers to understand the state of the field and identify several potential directions. We also provide discussion for the open problems in this field together with interesting future research directions.

研究の動機と目的

• 四つの主要なデータ品質の課題を、実世界の設定でのマルチモーダル融合において特定・明確化する（ノイズ、不完全性、不均衡、品質変動）。
• クラスタリング、分類、検出、分割などのタスクで低品質マルチモーダルデータに対処する最近の進展を調査・整理する。
• 堅牢なマルチモーダル融合手法を開発する際のデータ中心の分類法を提供する。
• 現実世界での信頼性と信頼性を向上させるためのオープン問題と将来の研究方向を強調する。

提案手法

• 低品質マルチモーダルデータのデータ中心の4部分類法（ノイズ、不完全、アンバランス、品質変動）を提示する。
• ノイズデータ学習の既存手法をモーダル固有のノイズ低減とクロスモーダルノイズ低減に分類して整理する。
• 不完全なマルチモーダル学習を調査し、補完ベースと補完なしのアプローチを分け、さらにモデル非依存の補完とモデル特定の補完に分類する。
• 補完データを扱う代表的技術を、カーネル/グラフベースの補完、生データ補完、潜在表現/射影学習にまとめる。
• クロスモーダルノイズ相関とマルチモーダル大規模言語モデルを活用するなど、堅牢な融合を進化させるための課題と潜在的方向を論じる。

実験結果

リサーチクエスチョン

• RQ1 実世界の低品質設定で堅牢なマルチモーダル融合を妨げるデータ品質の核心的課題は何か。
• RQ2 ノイズ、未完、アンバランス、品質変動のマルチモーダルデータの景観を最も適切に捉える分類法は何か。
• RQ3 補完ベースと補完なしの不完全なマルチモーダル学習アプローチの利点と限界は何か。
• RQ4 現在の手法を拡張してクロスモーダルノイズ相関を利用し、さまざまな下流タスクでの堅牢性を向上させるにはどうすればよいか。
• RQ5 信頼できる現実世界のマルチモーダル融合のためのオープン問題と将来の方向性で最も有望なものは何か。

主な発見

• 四つの核心課題は低品質のマルチモーダルデータを定義する：ノイズ（モーダル固有およびクロスモーダル）、不完全なモダリティ、モダリティの不均衡、サンプル間の品質変動。
• ノイズ低減はモーダル固有のデノイズとクロスモーダルノイズ修正戦略の両方から恩恵を受け、モダリティ間の相関を活用する。
• 不完全データは補完ベースと補完なしの方法で対処され、カーネル/グラフベースから深層学習やGANベースのアプローチへとスペクトルを持つ。
• 不完全なマルチモーダル学習はしばしば共有潜在表現の学習やモダリティ間で整列した射影を学ぶことに依存し、双モーダルデータを超えるマルチモーダル設定へ拡張される。
• この調査はノイズ相関を活用し、補完情報を統合し、高レベルの意味論的ノイズと実世界の変動を考慮する必要性を強調している。