[논문 리뷰] Learning Answer Embeddings for Visual Question Answering

Hexiang Hu, Wei‐Lun Chao외 1명|arXiv (Cornell University)|2018. 06. 10.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 이미지-질문 쌍과 답변 임베딩 간의 의미 관계를 포착하기 위해 이미지-질문 쌍과 답변에 대한 공동 임베딩을 학습하는 확률적 시각질문응답 모델을 제안한다. 학습된 임베딩를 통해 답변 유사도를 모델링함으로써, 답변 어휘의 겹침이 적은 데이터셋 간의 제로샷 일반화 및 전이 학습을 향상시키며, 도메인 내 및 교차 데이터셋 설정 모두에서 표준 분류 기반 보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel probabilistic model for visual question answering (Visual QA). The key idea is to infer two sets of embeddings: one for the image and the question jointly and the other for the answers. The learning objective is to learn the best parameterization of those embeddings such that the correct answer has higher likelihood among all possible answers. In contrast to several existing approaches of treating Visual QA as multi-way classification, the proposed approach takes the semantic relationships (as characterized by the embeddings) among answers into consideration, instead of viewing them as independent ordinal numbers. Thus, the learned embedded function can be used to embed unseen answers (in the training dataset). These properties make the approach particularly appealing for transfer learning for open-ended Visual QA, where the source dataset on which the model is learned has limited overlapping with the target dataset in the space of answers. We have also developed large-scale optimization techniques for applying the model to datasets with a large number of answers, where the challenge is to properly normalize the proposed probabilistic models. We validate our approach on several Visual QA datasets and investigate its utility for transferring models across datasets. The empirical results have shown that the approach performs well not only on in-domain learning but also on transfer learning.

연구 동기 및 목표

• 멀티웨이 분류의 한계를 해결하기 위해, 답변을 독립적인 카테고리로 간주하고 의미 관계를 忽略하는 문제를 해결한다.
• 특히 개방형 VQA 설정에서 답변 어휘 겹침이 적은 데이터셋 간 효과적인 전이 학습을 가능하게 한다.
• 학습 어휘 외의 새로운 답변을 추론 시에도 임베딩할 수 있는 모델을 개발하여, 학습 어휘를 초월한 일반화 능력을 향상시킨다.
• 수백만 개의 후보 답변을 포함한 대규모 답변 공간에서 효율적인 최적화 기반을 설계하여 스케일러블한 훈련을 가능하게 한다.
• 이미지-질문 쌍과 답변 임베딩 간의 의미 정렬이 강건성과 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 모델은 이미지-질문 쌍을 위한 공동 임베딩 함수와 개별 답변을 위한 별도의 임베딩 함수를 학습하여 동일한 임베딩 공간에 매핑한다.
• 모델은 이미지-질문 임베딩과 답변 임베딩 간의 내적곱을 기반으로 한 확률적 점수 함수를 사용하여 가장 가능성 높은 답변을 예측한다.
• 핵심 혁신은 수천 개의 후보 답변을 가진 대규모 확률적 모델을 효율적으로 최적화하기 위해 미니배치 내에서 적응형 음성 샘플링을 적용하는 것이다.
• 모델은 각 샘플에 대해 이미지-질문 임베딩을 한 번만 계산하여, 재계산 없이도 수많은 후보 답변에 대해 효율적인 추론을 가능하게 한다.
• 정답 답변이 음성 답변들보다 더 높은 확률을 가지도록 하기 위해 마진 기반의 대비 손실 함수를 사용하며, 정규화는 적응형 샘플링을 통해 처리한다.
• 이 프레임워크는 모듈식이며, CNN-RNN 또는 트랜스포머 기반 아키텍처와 같은 어떤 공동 이미지-텍스트 인코더와도 호환된다.

실험 결과

연구 질문

• RQ1 답변 임베딩을 학습함으로써 답변 간 의미 관계를 포착함으로써, 도메인 내 VQA 성능 향상이 가능한가?
• RQ2 학습 세트에 존재하지 않는 새로운 답변에 대해서도 일반화가 가능한가? 즉, 제로샷 추론이 가능한가?
• RQ3 답변 임베딩의 사용이 답변 어휘 겹침이 적은 데이터셋 간 전이 학습 성능 향상에 기여하는가?
• RQ4 대규모 후보 답변 집합에서 모델의 효율성은 어떻게 스케일링되며, 추론 속도 면에서 표준 분류 기반 보다 뛰어나게 성능을 낼 수 있는가?
• RQ5 답변 임베딩이 문법적 및 의미적 유사성을 얼마나 잘 포착하는가? t-SNE 시각화 및 후행 작업 성능을 통해 이를 입증할 수 있는가?

주요 결과

• 제안된 fPMC 방법은 표준 분류 기반 보다 전이 학습에서 뛰어난 성능을 보이며, Visual7W에서 qaVG로 전이할 경우 12.0% 향상(42.8% → 54.8%)을 기록했다.
• VQA2 데이터셋에서 fPMC는 상위 3000개 후보에 대해 개방형 정확도 43.4%를 달성하여, CLS(31.7%) 및 uPMC(29.5%)보다 유의미하게 뛰어나다.
• VQA2에서 Yes/No 답변을 제거한 경우, fPMC는 CLS보다 더 큰 격차(최대 13.7%p)로 승리하며, 의미적으로 풍부한 답변에서 임베딩의 장점을 입증한다.
• fPMC 모델은 표준 분류와 유사한 추론 속도(1미니배치당 22.14ms)를 기록했으며, uPMC는 10배 이상 느린 367.62ms를 기록하여 계산 효율성을 입증했다.
• t-SNE 시각화 결과는 학습된 답변 임베딩이 의미적 및 문법적 유사성을 잘 유지하고 있음을 확인한다. 예를 들어, 'running'과 'jogging'은 임베딩 공간에서 가까이 위치해 있다.
• VQA2와 Visual7W와 같은 주요 데이터셋 간 상위 1000개 답변의 공통 어휘 비율은 50–65%에 불과하여, 전이의 과제와 임베딩 기반 일반화의 가치를 강조한다.