[論文レビュー] Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions

Huan Ma, Zongbo Han+4 more|arXiv (Cornell University)|Nov 11, 2021

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、モダリティ固有のおよびグローバルなエピステミックおよびアレアトリックな不確実性を明示的にモデル化するため、正規逆ガマ分布の混合（MoNIG）を用いた信頼性のあるマルチモーダル回帰フレームワークを提案する。不確実性推定に基づいて動的に融合を調整することにより、ノイズや損傷を含むモダリティに対しても耐性が向上し、多様な実世界のタスクにおいて優れた回帰精度と信頼性のある不確実性評価を達成する。

ABSTRACT

Multimodal regression is a fundamental task, which integrates the information from different sources to improve the performance of follow-up applications. However, existing methods mainly focus on improving the performance and often ignore the confidence of prediction for diverse situations. In this study, we are devoted to trustworthy multimodal regression which is critical in cost-sensitive domains. To this end, we introduce a novel Mixture of Normal-Inverse Gamma distributions (MoNIG) algorithm, which efficiently estimates uncertainty in principle for adaptive integration of different modalities and produces a trustworthy regression result. Our model can be dynamically aware of uncertainty for each modality, and also robust for corrupted modalities. Furthermore, the proposed MoNIG ensures explicitly representation of (modality-specific/global) epistemic and aleatoric uncertainties, respectively. Experimental results on both synthetic and different real-world data demonstrate the effectiveness and trustworthiness of our method on various multimodal regression tasks (e.g., temperature prediction for superconductivity, relative location prediction for CT slices, and multimodal sentiment analysis).

研究の動機と目的

• 信頼性の欠如している既存のマルチモーダル回帰モデルの課題に対処すること、特に予測が信頼できないと災害的となるコスト感受性の高い分野での課題。
• 従来のモデルがモダリティ品質の安定性を仮定しており、不確実性の認識なしに過信した予測を生じるという限界を克服すること。
• エピステミック（モデル）およびアレアトリック（データ）不確実性を、モダリティ固有およびグローバルレベルで明示的に表現する統合された確率的フレームワークの構築。
• ノイズや損傷に強い耐性を示しながらも高い回帰精度を維持する、不確実性に配慮した動的で柔軟な複数モダリティの統合を可能にすること。

提案手法

• 予測不確実性をモデル化するための確率的フレームワークとして、正規逆ガマ分布の混合（MoNIG）を提案する。
• 各モダリティごとに、正規逆ガマ分布を用いてモダリティ固有の不確実性をモデル化し、データノイズ（アレアトリック）とモデル不確実性（エピステミック）を別々に推定可能にする。
• 推定された不確実性に従って重み付けされた統合機構を用い、不確実性が高いほどそのモダリティの寄与度が低下するように統合を制御する。
• 特徴の補完性を高め、学習および推論時の耐性を向上させるために、擬似モダリティ成分を導入する。
• 回帰精度と不確実性のキャリブレーションの両立を図る微分可能な損失関数を用いて、モデルをエンドツーエンドで最適化する。
• MoNIGの階層的構造を活用し、局所的（モダリティ固有）およびグローバル（全体）の両方の不確実性推定を統一されたフレームワークで実現する。

実験結果

リサーチクエスチョン

• RQ1 統一された確率的フレームワークは、マルチモーダル回帰において、モダリティ固有およびグローバルなエピステミックおよびアレアトリック不確実性を効果的にモデル化できるか？
• RQ2 ノイズや損傷を含むモダリティに直面した際、提案されたMoNIGモデルは、リアルタイムの不確実性推定に基づいて融合戦略を適応的に変更できるか？
• RQ3 モダリティ固有の不確実性を組み込むことで、標準的な統合手法と比較して、マルチモーダル回帰タスクにおける耐性および信頼性がどの程度向上するか？
• RQ4 予測された不確実性と実際の回帰誤差の整合性という観点から、MoNIGの不確実性推定品質は最先端のベースラインと比較して優れているか？
• RQ5 医療診断や自動運転などの安全上の重要な応用分野において、信頼性のある不確実性推定を提供し、信頼できる意思決定を支援できるか？

主な発見

• 超伝導転移温度予測データセットでは、MoNIGがテストRMSE 12.19を達成し、高ノイズ（ε = 0.01）下でEVD（13.95）を大きく上回り、耐性の向上を示した。
• CTスライスの相対的位置予測では、MoNIGがRMSE 0.91を達成し、高ノイズ（ε = 0.1）下でEVD（2.23）を著しく下回り、強いノイズ耐性を示した。
• 不確実性-誤差整合性不良率（UEIR）は、アレアトリック不確実性で12.65%、エピステミック不確実性で11.70%に低下し、EVD（13.73%および12.37%）を上回る、より優れた不確実性キャリブレーションを示した。
• 可視化分析により、MoNIGがノイズレベルの上昇に応じて不確実性推定値を動的に増加させることを確認し、モダリティ固有のノイズに対する適応的認識能力を示した。
• アブレーションスタディの結果、不確実性重み付き統合（Ours）が単純平均や固定重み付き統合を著しく上回り、動的不確実性誘導統合の価値を裏付けた。
• さまざまなノイズレベルの500サンプルのテストにおいて、モデルがどのモダリティが損傷しているかを正しく同定できた。これは、モダリティ固有のノイズ認識および説明可能性の能力を示している。