[논문 리뷰] Visual Question Answering with Prior Class Semantics

Violetta Shevchenko, Damien Teney외 2명|arXiv (Cornell University)|2020. 05. 04.

Multimodal Machine Learning Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 단일 질문-답변 프레임워크를 제안하며, 단어 임베딩을 통해 사전 지식을 통합하여 의미 공간에서 회귀 목표를 사용함으로써 답변 예측의 일관성과 정확도를 향상시킨다. 이 방법은 GQA에서 최신 기술 수준의 성능을 달성하며, 훈련 중에 보이지 않은 답변에 대한 제로샷 예측을 가능하게 하여 다양한 질문 유형에 걸쳐 뛰어난 견고성을 보여준다.

ABSTRACT

We present a novel mechanism to embed prior knowledge in a model for visual question answering. The open-set nature of the task is at odds with the ubiquitous approach of training of a fixed classifier. We show how to exploit additional information pertaining to the semantics of candidate answers. We extend the answer prediction process with a regression objective in a semantic space, in which we project candidate answers using prior knowledge derived from word embeddings. We perform an extensive study of learned representations with the GQA dataset, revealing that important semantic information is captured in the relations between embeddings in the answer space. Our method brings improvements in consistency and accuracy over a range of question types. Experiments with novel answers, unseen during training, indicate the method's potential for open-set prediction.

연구 동기 및 목표

• 고정된 분류 기반 VQA 모델이 답변 간 의미 관계를 忽시하는 한계를 해결하기 위해.
• 답변 의미에 대한 사전 지식을 통합하여 모델의 일반화 능력과 견고성을 향상시키기 위해.
• 훈련 중에 나타나지 않은 새로운, 어휘 외의 답변에 대해 오픈셋 예측을 가능하게 하기 위해.
• 학습된 답변의 의미 표현이 다양한 질문 유형에서 VQA 성능을 향상시키는 데 기여하는 방식을 탐구하기 위해.

제안 방법

• 모델는 VQA 문제를 다중임무 학습 문제로 간주하며, 후보 답변에 대한 분류와 의미 임베딩 공간에서의 회귀 목표를 결합한다.
• 답변 표현은 사전 학습된 GloVe 단어 임베딩을 사용해 초기화되어 사전 의미 지식이 통합된다.
• 공동 손실 함수는 교차 엔트로피 분류 손실과 답변 임베딩에 대한 평균 제곱 오차 회귀 손실을 조합한다.
• 테스트 시점에, 답변 행렬을 새로운 임베딩으로 교체하고 분류 손실를 비활성화함으로써(λ = 0) 새로운 답변을 예측할 수 있다.
• 이 방법은 임베딩 공간 내에서의 최근접 이웃 분석을 통해 답변 간 의미 관계를 활용한다.
• 모델는 GQA와 VQA v2에서 평가되며, 의미 정규화의 기여도를 분리하기 위한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 답변에 대한 의미 지식을 통합함으로써 VQA 모델의 정확도와 일관성은 어떻게 향상되는가?
• RQ2 의미 임베딩을 사용하여 훈련 중에 보이지 않은 답변에 대해 VQA 모델이 일반화할 수 있는가?
• RQ3 답변 단어 간 의미 관계는 모델 성능 향상에 어떤 역할을 하는가?
• RQ4 의미 회귀를 포함한 다중임무 학습 설정은 표준 분류 전용 기준 모델과 비교해 어떻게 다를까?
• RQ5 다양한 종류의 사전 학습된 임베딩(GloVe vs. ConceptNet 등)은 제로샷 답변 예측에 어떤 영향을 미치는가?

주요 결과

• GQA 데이터셋에서 모든 질문 유형에 걸쳐 일관된 정확도 향상이 관찰되었으며, 복잡하고 조합적인 질문에서 가장 높은 성과를 기록했다.
• 추론 실험 결과, 분류 손실과 회귀 손실 간 균형 잡힌 무게(λ = 0.5)가 가장 뛰어난 성능을 보였으며, 이는 두 목표가 상호 보완적임을 확인한다.
• 70%의 답변 후보에 대해 답변 복원도가 향상되었으며, 특히 의미적으로 관련된 답변들(예: 'basket'과 'baskets')에서 가장 큰 향상이 관찰되었다.
• 훈련/테스트 답변 세트가 분리된 VQA v2 데이터셋에서, 모델는 제로샷 예측 정확도 27%를 달성하여 fPMC 기준선(15%)을 능가했다.
• 복원도가 떨어지는 답변들은 보통 GloVe 공간 내에서 의미적으로 관련 없는 최근접 이웃을 가지며, 이는 임베딩 품질과 의미 일관성이 중요하다는 것을 시사한다.
• VQA 모델이 엔드 투 엔드로 학습한 시각적 공존 패tern은 시각적 지식과 언어적 지식을 융합할 경우 어휘 외 성능 향상에 기여할 수 있음을 시사한다.