[논문 리뷰] Probabilistic Embeddings for Cross-Modal Retrieval

Sanghyuk Chun, Seong Joon Oh외 3명|arXiv (Cornell University)|2021. 01. 13.

Multimodal Machine Learning Applications참고 문헌 58인용 수 5

한 줄 요약

이 논문은 이미지와 문장을 공유된 임베딩 공간 내에서 확률 분포로 표현함으로써 이미지-텍스트 쌍에 내재된 다대일 대응 관계를 모델링하는 Probabilistic Cross-Modal Embedding (PCME)를 제안한다. 불확실성 인식 임베딩을 학습함으로써 PCME는 결정론적 기준선 대비 검색 성능을 향상시키며, 해석 가능한 불확실성 추정과 임베딩에 대한 집합 기반 연산을 가능하게 한다.

ABSTRACT

Cross-modal retrieval methods build a common representation space for samples from multiple modalities, typically from the vision and the language domains. For images and their captions, the multiplicity of the correspondences makes the task particularly challenging. Given an image (respectively a caption), there are multiple captions (respectively images) that equally make sense. In this paper, we argue that deterministic functions are not sufficiently powerful to capture such one-to-many correspondences. Instead, we propose to use Probabilistic Cross-Modal Embedding (PCME), where samples from the different modalities are represented as probabilistic distributions in the common embedding space. Since common benchmarks such as COCO suffer from non-exhaustive annotations for cross-modal matches, we propose to additionally evaluate retrieval on the CUB dataset, a smaller yet clean database where all possible image-caption pairs are annotated. We extensively ablate PCME and demonstrate that it not only improves the retrieval performance over its deterministic counterpart but also provides uncertainty estimates that render the embeddings more interpretable. Code is available at https://github.com/naver-ai/pcme

연구 동기 및 목표

• 이미지-텍스트 검색에서 다수의 타당한 문장이 하나의 이미지를 설명하거나 그 반대의 경우가 발생하는 다대일 대응 관계를 다루기 위해.
• 다중 대응 관계를 모델링할 수 없는 결정론적 임베딩 함수의 한계를 극복하기 위해.
• COCO에서의 비포괄적 레이블링 문제를 해결하기 위해 CUB 데이터셋을 사용하여 철저한 애너테이션을 제공하는 더 깔끔한 평가 벤치마크를 제안하기 위해.
• 불확실성 추정을 통한 해석 가능한 임베딩을 가능하게 하여 모호성과 실패 가능성 분석을 가능하게 하기 위해.
• 확률적 임베딩이 의미 관계와 일치하는 집합 대수 연산을 지원함을 보여주기 위해.

제안 방법

• 이미지와 문장을 공유된 임베딩 공간 내에서 다변량 정규분포로 표현하며, 평균 및 분산 벡터로 매개변수화한다.
• 하드 네거티브 마이닝을 적용한 대비 손실을 사용하여 모델을 훈련하며, 임베딩 손실은 평균 벡터 기반으로 계산되고 불확실성은 KL 발산을 통해 정규화된다.
• 표준편차 성분의 기하평균을 사용해 각 인스턴스별 불확실성 점수를 계산하여 쿼리의 모호성 정도를 정량화한다.
• 이미지나 문장을 제거하는 데이터 증강 기법을 적용하여 불확실성과 시각적 또는 문장 정보 손실 간의 상관관계를 분석한다.
• t-SNE를 사용해 2차원으로 임베딩을 시각화하여 의미 클래스 간의 공간 집합 및 분포 행동을 분석한다.
• 입력 데이터에 집합 대수 연산(예: 혼합, 제거)을 적용하고 해당 임베딩 분포의 변화를 관찰함으로써 의미 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 확률적 임베딩은 이미지-캡션 쌍에서 흔한 다대일 관계를 효과적으로 모델링할 수 있는가?
• RQ2 확률적 임베딩에서 유도된 불확실성 추정은 입력 데이터의 실제 모호성과 상관관계가 있는가?
• RQ3 표준 및 더 깔끔한 벤치마크에서 PCME의 성능은 결정론적 및 다중 표현 기반 기준선 대비 어떻게 비교되는가?
• RQ4 임베딩에 대한 집합 연산은 교차 또는 포함 관계와 같은 의미 관계를 반영할 수 있는가?
• RQ5 불확실성 점수는 검색 난이도 또는 실패 가능성 예측에 도움이 되는가?

주요 결과

• PCME는 COCO 1k에서 R@1 45.0, R@5 68.8을 기록하며 결정론적 기준선을 초월하고 PVSE 및 VSRN 기준선과 동등하거나 이를 능가한다.
• 모델 성능은 불확실성이 증가할수록 감소함을 확인하여 높은 불확실성이 검색 난이도와 관련이 있음을 입증한다.
• 표준편차 성분에서 유도된 불확실성 추정치는 이미지에서 제거된 픽셀 비율 및 문장에서 제거된 단어 비율과 양의 상관관계를 보이며, 입력의 모호성에 민감함을 검증한다.
• 2차원 시각화 결과, 일반적인 문장인 '이 새는 <unk> ...'와 같은 문장들이 다수의 하위클래스를 포함하는 중심 영역을 차지함을 확인하여 의미의 일반성에 대한 분포 모델링이 이루어졌음을 시사한다.
• 혼합 또는 제거와 같은 집합 대수 연산은 교차 및 포함 관계를 반영하는 임베딩을 생성하며, 이는 확률적 공간 내 의미 일관성을 입증한다.
• 단지 평균 벡터(mostly mu-only)만을 사용하는 PCME도 결정론적 모델 대비 성능 향상을 보이지만, 전체적인 확률적 모델링이 더 높은 내성성과 해석 가능성 향상에 기여한다.