[논문 리뷰] Exploring Uncertainty Measures for Image-Caption Embedding-and-Retrieval Task

Kenta Hama, Takashi Matsubara외 2명|arXiv (Cornell University)|2019. 04. 09.

Multimodal Machine Learning Applications참고 문헌 54인용 수 4

한 줄 요약

이 논문은 이미지-캡션 검색 시스템을 위한 두 가지 불확실성 측정법—특징 불확실성(회귀 기반 모델 평균화를 통한)과 사후 불확실성(분류 기반 신뢰도 점수를 통한)—을 제안한다. 사후 불확실성은 다양한 데이터셋에서 일관되게 검색 성능 향상과 신뢰도 평가를 향상시키지만, 특징 불확실성은 분포 외 또는 모호한 쿼리에 대해 제한된 신뢰도를 제공한다.

ABSTRACT

With the wide development of black-box machine learning algorithms, particularly deep neural network (DNN), the practical demand for the reliability assessment is rapidly rising. On the basis of the concept that `Bayesian deep learning knows what it does not know,' the uncertainty of DNN outputs has been investigated as a reliability measure for the classification and regression tasks. However, in the image-caption retrieval task, well-known samples are not always easy-to-retrieve samples. This study investigates two aspects of image-caption embedding-and-retrieval systems. On one hand, we quantify feature uncertainty by considering image-caption embedding as a regression task, and use it for model averaging, which can improve the retrieval performance. On the other hand, we further quantify posterior uncertainty by considering the retrieval as a classification task, and use it as a reliability measure, which can greatly improve the retrieval performance by rejecting uncertain queries. The consistent performance of two uncertainty measures is observed with different datasets (MS COCO and Flickr30k), different deep learning architectures (dropout and batch normalization), and different similarity functions.

연구 동기 및 목표

• 데이터셋 이동 또는 모호한 쿼리 상황에서 신뢰도 평가의 부재를 해결하기 위해.
• 베이지안 딥러닝을 통한 불확실성 정량화가 검색 성능 향상과 신뢰할 수 없는 예측 탐지에 기여할 수 있는지 조사하기 위해.
• 다양한 환경에서 두 가지 불확실성 측정법—특징 불확실성(회귀 시각)과 사후 불확실성(분류 시각)—의 효과성을 비교하기 위해.
• 다양한 데이터셋(MS COCO, Flickr30k, RecipeQA), 아키텍처(VGG19, VSE++), 유사도 함수에서 이러한 불확실성 측정법의 강인성 평가하기 위해.

제안 방법

• 다중 전방 전파를 통한 모델 평균화로 분산을 줄이기 위해, 이미지-캡션 임베딩을 회귀 과제로 간주하여 몬테카를로 드롭아웃을 통해 특징 불확실성 추정하기.
• 검색 과제를 분류 문제로 재정의하여, 후보 캡션 간 유사도 분포의 엔트로피로 사후 불확실성 계산하기.
• 보정 및 신뢰도 추정 향상을 위해 사후 불확실성에 온도 스케일링 적용하기.
• VGG19를 사용해 MS COCO에서 VSE++ 모델을 훈련하고, Flickr30k 및 RecipeQA에서 테스트하여 일반화 및 데이터셋 이동 강인성 평가하기.
• 훈련 시 랭크 기반 손실(예: 콘트라스트 손실)을 사용하지만, 추론 시에는 불확실성 추정을 사후 분포를 통해 수행하기.
• 검색 메트릭(예: R@1, R@5, R@10)을 사용해 불확실성 측정법 평가하고, 불확실성 기반 필터링 또는 모델 평균화 유무에 따른 성능 비교하기.

실험 결과

연구 질문

• RQ1 임베딩 회귀에서 유도된 특징 불확실성이 다중 몬테카를로 전방 전파를 통한 모델 평균화로 검색 성능 향상에 기여할 수 있는가?
• RQ2 분류 기반 유사도 점수에서 유도된 사후 불확실성이 이미지-캡션 검색의 신뢰도 측정에 신뢰할 수 있는 척도가 될 수 있는가?
• RQ3 이러한 불확실성 측정법은 특히 공변수 이동(MS COCO → Flickr30k 또는 RecipeQA) 상황에서 다양한 데이터셋에서 어떻게 성능을 보이는가?
• RQ4 특징 불확실성은 임베딩의 높은 분산에도 불구하고 분포 외 또는 모호한 쿼리를 탐지하지 못하는 이유는 무엇인가?
• RQ5 드롭아웃, 배치 정규화 등의 아키텍처 선택과 유사도 함수는 불확실성 추정의 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 사후 불확실성은 특히 모호하거나 분포 외 케이스에서 불신뢰할 수 있는 쿼리를 걸러내어 검색 성능을 크게 향상시킨다.
• 특징 불확실성은 다중 몬테카를로 전방 전파를 통한 모델 평균화로 검색 정확도를 향상시키지만, 예측 신뢰도를 신뢰할 만하게 나타내지는 않는다.
• 사후 불확실성은 MS COCO에 비해 Flickr30k 및 특히 RecipeQA 데이터셋에서 일관되게 더 높게 나타나, 데이터셋 이동 및 분포 이동에 민감함을 보여준다.
• 특징 불확실성은 MS COCO, Flickr30k, RecipeQA 간 유사한 분포를 보이며, Flickr30k에서의 성능 저하가 심한데도 불구하고, 이는 도메인 외 탐지에 대해 낮은 신뢰도를 의미한다.
• 정성적 분석 결과, 사후 불확실성은 유사한 타겟(예: 야구 스윙) 간 혼동을 포착하지만, 특징 불확실성은 의미적 모호성보다는 지역적 이미지 복잡도를 반영한다.
• 사후 불확실성 측정법은 다양한 딥러닝 아키텍처(예: VGG19와 VSE++) 및 유사도 함수에서 강인하며, 일반화 능력과 강력한 신뢰도 평가 능력을 보여준다.