[論文レビュー] Provable Dynamic Fusion for Low-Quality Multimodal Data

Qingyang Zhang, Haitao Wu+5 more|arXiv (Cornell University)|Jun 3, 2023

Remote-Sensing Image Classification被引用数 20

ひとこと要約

本論文は堅牢な動的マルチモーダル融合の理論的枠組みを提供し、不確実性推定を用いてモダリティに重みを付ける Quality-aware Multimodal Fusion (QMF) を提案する。理論的な一般化保証と、低品質データでの性能向上を示す広範な実験を伴う。

ABSTRACT

The inherent challenge of multimodal fusion is to precisely capture the cross-modal correlation and flexibly conduct cross-modal interaction. To fully release the value of each modality and mitigate the influence of low-quality multimodal data, dynamic multimodal fusion emerges as a promising learning paradigm. Despite its widespread use, theoretical justifications in this field are still notably lacking. Can we design a provably robust multimodal fusion method? This paper provides theoretical understandings to answer this question under a most popular multimodal fusion framework from the generalization perspective. We proceed to reveal that several uncertainty estimation solutions are naturally available to achieve robust multimodal fusion. Then a novel multimodal fusion framework termed Quality-aware Multimodal Fusion (QMF) is proposed, which can improve the performance in terms of classification accuracy and model robustness. Extensive experimental results on multiple benchmarks can support our findings.

研究の動機と目的

• さまざまなモダリティ品質とデータノイズの下で堅牢なマルチモーダル融合を動機づける。
• ラデマッハー複雑性を用いて動的融合と静的融合の一般化誤差の境界を特徴づける。
• 不確実性推定を用いてモダリティに重みを付けるQuality-aware Multimodal Fusion (QMF)フレームワークを提案する。
• 特定の条件下で動的融合が静的融合を理論的に上回ることを示す。
• モダリティの不確実性と整合するように融合重みを調整する実践的な訓練手法と正則化を提供する。

提案手法

• 動的重み w^m(x) を用いた遅延融合を形式化し、マルチモーダル融合の一般化境界を導出する（定理1）。
• 動的融合が静的融合を上回る条件を示す（定理2）。
• モダリティの不確実性に依存し、Correlation Conditions（式6）を満たす融合重みを持つQuality-aware Multimodal Fusion (QMF) を提案する。
• 不確実性ベースの重み w^m(x) = α^m u^m(x) + β^m を、重みと不確実性を結びつけるために負の α^m として定義する（式9）。
• 各モダリティの不確実性手掛かりとしてエネルギースコアを用い、不確実性と損失の相関を改善するためのサンプリングベースの正則化を導入する（式12-18）。
• QMF の訓練のためのアルゴリズム1を提供し、正則化項を含む全体損失を説明する（式18）。

実験結果

リサーチクエスチョン

• RQ1 一般化の観点から、動的マルチモーダル融合が静的融合を理論的に上回るのはいつか？
• RQ2 不確実性推定を融合重みに組み込み、マルチモーダル学習における証明可能な頑健性を達成するにはどうすればよいか？
• RQ3 動的融合の性能と単一モダリティの一般化誤差および不確実性との関係は何か？
• RQ4 実用的なフレームワーク（QMF）は、信頼できる不確実性ベースの重み付けで理論上の利点を実現できるか？
• RQ5 提案された正則化とエネルギースコアに基づく不確実性推定は、融合重み付けのための不確実性と損失の相関をより高めるか？

主な発見

• 動的融合は、融合重みが単一モダリティの一般化誤差と負の相関を持つ場合に理論的な一般化利得を提供する（Cov(w^m, l^m) ≤ 0）。
• 動的融合の一般化境界は、平均経験損失、平均複雑性、重みと損失の共分散、およびサンプリングベースの項からなる。これは頑健性を不確実性の整合性と結びつける（定理1）。
• 特定の条件下で、動的融合の上限は静的融合と同程度、または重みと単一モダリティ損失のピアソン相関が非正の場合には厳密に上回ることがある（定理2）。
• 動的融合の一般化能力は不確実性推定の性能と同一視する（不確実性の品質が直接的に融合重みに影響を与える）。
• QMF は、モダリティの不確実性から導かれる不確実性認識重みを使い、エネルギースコアベースの不確実性と訓練難易度（損失の軌跡）を整合させる正則化項を用いて具体化される。
• ベンチマークでの実証結果は、低品質データでQMFが精度を維持または向上させ、データがノイズを含む場合やモダリティが不均衡なときに単一モダリルのベースラインよりも往々にして優れていることを示す（表1および図3に示されるように）。