[논문 리뷰] Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval

Hao Li, Jingkuan Song외 3명|arXiv (Cornell University)|2023. 09. 29.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 빠르게 진행되는 영상이나 세부 정보가 부족한 텍스트와 같이 모호한 데이터로 인해 발생하는 교차 모odal 검색의 불확실성을 정량화하는 새로운 프레임워크인 프로토타입 기반 난수 불확실성 정량화(PAU)를 제안한다. 모달리티별 프로토타입을 학습하고, 딜레르트-샤퍼 이론(Dempster-Shafer Theory)을 통해 딜레르트 분포를 활용해 증거를 모델링함으로써 PAU는 예측 신뢰도를 향상시키며, MSR-VTT, MSVD, DiDeMo, MS-COCO에서 최신 기술 수준의 성능을 달성한다. 불확실성 인식 재정렬을 통해 최대 2.2%의 R@1 향상을 기록한다.

ABSTRACT

Cross-modal Retrieval methods build similarity relations between vision and language modalities by jointly learning a common representation space. However, the predictions are often unreliable due to the Aleatoric uncertainty, which is induced by low-quality data, e.g., corrupt images, fast-paced videos, and non-detailed texts. In this paper, we propose a novel Prototype-based Aleatoric Uncertainty Quantification (PAU) framework to provide trustworthy predictions by quantifying the uncertainty arisen from the inherent data ambiguity. Concretely, we first construct a set of various learnable prototypes for each modality to represent the entire semantics subspace. Then Dempster-Shafer Theory and Subjective Logic Theory are utilized to build an evidential theoretical framework by associating evidence with Dirichlet Distribution parameters. The PAU model induces accurate uncertainty and reliable predictions for cross-modal retrieval. Extensive experiments are performed on four major benchmark datasets of MSR-VTT, MSVD, DiDeMo, and MS-COCO, demonstrating the effectiveness of our method. The code is accessible at https://github.com/leolee99/PAU.

연구 동기 및 목표

• 빠르게 진행되는 영상나 비세부적인 텍스트와 같이 저품질 또는 모호한 데이터에 대해 불확실성 정량화의 부족을 해결한다.
• 모델 불확실성이 아니라 데이터의 본질적 모호성에서 기인하는 난수 불확실성을 식별하고 정량화한다.
• 불확실성 인식 재정렬 및 손실 함수를 통해 신뢰할 수 있는 예측을 제공함으로써 검색 신뢰도를 향상시킨다.
• 고엔트로피 모호한 데이터와 균일하게 분포된 낮은 신뢰도 예측을 구분할 수 있는 일반화 가능한 프레임워크를 개발한다.
• 불확실한 샘플을 제거하면 검색 성능이 향상됨을 입증함으로써, 프레임워크가 신뢰할 수 없는 데이터를 탐지할 수 있음을 검증한다.

제안 방법

• 각 모달리티에 대해 학습 가능한 프로토타입을 구축하여 의미 하위공간을 표현하며, 각 프로토타입은 별개의 의미 카테고리에 대응한다.
• 입력 인스턴스와 교차 모달 프로토타입 간의 코사인 유사도를 델레르트-샤퍼 이론(DST) 프레임워크 내 증거 질량으로 사용한다.
• 증거 질량에서 유도된 딜레르트 분포 매개수를 사용하여 불확실성을 모델링함으로써 확률적 불확실성 추정을 가능하게 한다.
• 모호한 데이터에 대해 더 높은 불확실성을 할당하도록 학습하기 위해 불확실성 손실을 도입하고, 의미 공간을 균일하게 커버하기 위해 다각도 손실을 도입한다.
• 예측된 불확실성 점수를 사용하여 재정렬을 적용함으로써 불확실한 예측을 필터링하거나 재가중함으로써 검색 성능을 향상시킨다.
• 정보 엔트로피와 최대 엔트로피 원리를 활용하여, 표준 엔트로피를 초월한 고급 불확실성 모델링의 필요성을 정당화한다.

실험 결과

연구 질문

• RQ1 모호한 데이터가 존재하는 상황에서 불확실성 정량화가 교차 모달 검색 예측의 신뢰도를 향상시킬 수 있는가?
• RQ2 빠르게 진행되는 영상나 비세부적인 텍스트와 같이 데이터의 모호성으로 인해 발생하는 난수 불확실성은 어떻게 효과적으로 모델링하고 정량화할 수 있는가?
• RQ3 제안된 PAU 프레임워크는 불확실한 샘플을 식별하고 처리했을 때 기준 모델보다 검색 정확도와 내성성에서 뛰어난 성능을 보일 수 있는가?
• RQ4 고불확실성 샘플을 제거하면 검색 성능이 얼마나 향상되는가? 이는 프레임워크가 신뢰할 수 없는 데이터를 탐지할 수 있음을 검증하는가?
• RQ5 PAU에서 도출된 불확실성 점수는 검색 예측을 재정렬하는 데 사용될 수 있으며, 교차 모달 검색 작업에서 R@1 성능 향상에 기여할 수 있는가?

주요 결과

• 불확실성 손실을 적용했을 때, PAU 프레임워크는 영상에서 텍스트로의 검색에서 R@1에 2.2% 향상, 텍스트에서 영상로의 검색에서 1.4% 향상하여 예측 신뢰도 향상의 효과를 입증한다.
• MSR-VTT 테스트 세트에서 가장 불확실한 상위 600개 샘플을 제거하면, 텍스트에서 영상로의 검색에서 14.2점, 영상에서 텍스트로의 검색에서 12.3점의 성능 향상이 발생하여 PAU가 매우 신뢰할 수 없는 데이터를 정확히 식별함을 확인한다.
• r=70일 때 텍스트에서 영상로의 검색에서, 고불확실성 서브셋에서 기준 모델보다 최대 8.6점 높은 R@1 성능을 기록함으로써 PAU가 불확실성 하에서 성능 유지 능력을 보여준다.
• 불확실성 기반 재정렬 전략은 사전 학습된 기준 모델에 적용해도 R@1 향상을 이끌어내어 강력한 일반화 능력과 실용적 유용성을 보여준다.
• 시각화 결과는 '어떤 사람이 무언가를 설명하고 있다'와 같은 고불확실성 캡션 및 여러 장면이 포함된 영상(예: 다양한 장면)이 PAU에 의해 올바르게 모호한 것으로 식별됨을 확인한다.
• 다양도 손실은 필수적이며, 제거한 실험 결과에서 다각도 손실이 없는 모델은 의미 공간을 균일하게 커버하지 못해 불확실성 정량화 품질이 떨어짐을 보여준다.