[논문 리뷰] Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions

Huan Ma, Zongbo Han외 4명|arXiv (Cornell University)|2021. 11. 11.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 다중모달 회귀 프레임워크를 제안하며, 정규-역감마 분포의 혼합(MoNIG)을 사용하여 모달리티별 및 전반적인 지식적 불확실성과 앨레아토릭 불확실성을 명시적으로 모델링한다. 불확실성 추정치에 기반해 동적으로 융합 전략을 조정함으로써, 노이즈가 많거나 손상된 모달리티에 대한 강건성을 향상시키고 다양한 실세계 작업에서 뛰어난 회귀 정확도와 신뢰할 수 있는 불확실성 정량화를 달성한다.

ABSTRACT

Multimodal regression is a fundamental task, which integrates the information from different sources to improve the performance of follow-up applications. However, existing methods mainly focus on improving the performance and often ignore the confidence of prediction for diverse situations. In this study, we are devoted to trustworthy multimodal regression which is critical in cost-sensitive domains. To this end, we introduce a novel Mixture of Normal-Inverse Gamma distributions (MoNIG) algorithm, which efficiently estimates uncertainty in principle for adaptive integration of different modalities and produces a trustworthy regression result. Our model can be dynamically aware of uncertainty for each modality, and also robust for corrupted modalities. Furthermore, the proposed MoNIG ensures explicitly representation of (modality-specific/global) epistemic and aleatoric uncertainties, respectively. Experimental results on both synthetic and different real-world data demonstrate the effectiveness and trustworthiness of our method on various multimodal regression tasks (e.g., temperature prediction for superconductivity, relative location prediction for CT slices, and multimodal sentiment analysis).

연구 동기 및 목표

• 기존의 다중모달 회귀 모델에서의 신뢰성 부족 문제를 해결하고, 특히 예측이 실패할 경우 치명적인 결과를 초래할 수 있는 비용 민감한 도메인에서의 신뢰성 있는 예측을 확보한다.
• 기존의 모델들이 안정적인 모달리티 품질을 전제로 하며 불확실성 인식 없이 과도하게 자신감 있는 예측을 내는 한계를 극복한다.
• 모달리티별 및 전반적인 수준에서 지식적(모델) 및 앨레아토릭(데이터) 불확실성을 명시적으로 표현하는 통합된 확률적 프레임워크를 개발한다.
• 노이즈나 오염에 강건하면서도 고정된 정확도를 유지하기 위해, 불확실성 인식 기반의 동적 융합 전략을 통해 다중 모달리티를 융합할 수 있도록 한다.

제안 방법

• 다중모달 회귀에서 예측 불확실성을 모델링하기 위한 확률적 프레임워크로 정규-역감마 분포의 혼합(MoNIG)을 제안한다.
• 모달리티별 불확실성을 정규-역감마 분포를 사용해 모델링하여, 각 모달리티별로 앨레아토릭(데이터 노이즈) 및 지식적(모델 불확실성) 성분을 별도로 추정할 수 있도록 한다.
• 추정된 불확실성에 따라 가중치 기반 융합 메커니즘을 통해 모달리티를 융합하며, 높은 불확실성일수록 해당 모달리티의 기여도가 낮아지도록 한다.
• 특수한 가짜 모달리티 구성 요소를 도입하여 특징의 보완성을 향상시키고, 훈련 및 추론 과정에서의 강건성을 강화한다.
• 다양한 기반 손실 함수를 사용해 모델을 종합적으로 최적화하며, 회귀 정확도와 불확실성 캘리브레이션 간의 균형을 확보한다.
• MoNIG의 계층적 구조를 활용해 통합된 프레임워크 내에서 국소적(모달리티별) 및 전반적(전체) 불확실성 추정을 동시에 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 확률적 프레임워크가 다중모달 회귀에서 모달리티별 및 전반적인 지식적 불확실성과 앨레아토릭 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 노이즈나 오염된 모달리티에 직면했을 때, 제안된 MoNIG 모델이 실시간 불확실성 추정치에 기반해 융합 전략을 얼마나 잘 적응하는가?
• RQ3 모달리티별 불확실성을 통합함으로써 기존의 표준 융합 방법에 비해 다중모달 회귀 작업에서의 강건성과 신뢰성은 어느 정도 향상되는가?
• RQ4 MoNIG의 불확실성 추정 품질은 실제 회귀 오차와 예측 불확실성 간의 일관성 측면에서 최신 기준 모델들에 비해 어떻게 비교되는가?
• RQ5 의료 진단이나 자율주행과 같은 안전 기반 응용 분야에서 신뢰할 수 있는 의사결정 지원을 위한 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?

주요 결과

• 초전도도 온도 예측 데이터셋에서 MoNIG는 고노이즈 조건(ε = 0.01) 하에서 테스트 RMSE 12.19를 기록하여 EVD(13.95)보다 유의미하게 뛰어난 강건성을 보였다.
• CT 슬라이스 상대적 위치 예측 작업에서 MoNIG는 고노이즈 조건(ε = 0.1) 하에서 RMSE 0.91을 기록하여 EVD(2.23)보다 유의미하게 낮아 노이즈에 대한 강력한 내성성을 입증했다.
• 불확실성-오차 일관성 불일치 비율(UEIR)은 앨레아토릭 불확실성의 경우 12.65%로, 지식적 불확실성의 경우 11.70%로, EVD(13.73% 및 12.37%)를 모두 뛰어넘어 더 나은 불확실성 캘리브레이션을 보였다.
• 시각적 분석 결과, MoNIG는 노이즈 수준이 증가할수록 불확실성 추정치를 동적으로 증가시키며, 모달리티별 노이즈에 대한 적응적 인식 능력을 입증했다.
• 절단 분석 결과, 가중치 기반 불확실성 융합(Ours)이 단순 평균화나 고정 가중치 융합보다 유의미하게 뛰어난 성능을 보여, 동적 불확실성 유도 통합의 가치를 입증했다.
• 다양한 노이즈 수준을 가진 500개의 테스트 샘플에서, 모델은 손상된 모달리티를 정확히 식별했으며, 이는 모달리티별 노이즈 인식 및 해석 능력이 있음을 보여주었다.