[논문 리뷰] VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions

Qing Li, Qingyi Tao외 3명|arXiv (Cornell University)|2018. 03. 20.

Multimodal Machine Learning Applications참고 문헌 35인용 수 17

한 줄 요약

이 논문은 모델이 예측된 답변과 함께 텍스트 설명을 생성해야 하는 시각적 질의 응답(VQA) 분야의 새로운 작업인 VQA-E를 소개한다. VQA v2 데이터셋의 이미지 캡션에서 자동으로 합성된 설명을 활용하여, 답변 정확도를 향상시키면서도 해석 가능하고 타당한 응답을 생성하는 다중 작업 학습 모델을 제안한다. 이는 VQA v2 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

Most existing works in visual question answering (VQA) are dedicated to improving the accuracy of predicted answers, while disregarding the explanations. We argue that the explanation for an answer is of the same or even more importance compared with the answer itself, since it makes the question and answering process more understandable and traceable. To this end, we propose a new task of VQA-E (VQA with Explanation), where the computational models are required to generate an explanation with the predicted answer. We first construct a new dataset, and then frame the VQA-E problem in a multi-task learning architecture. Our VQA-E dataset is automatically derived from the VQA v2 dataset by intelligently exploiting the available captions. We have conducted a user study to validate the quality of explanations synthesized by our method. We quantitatively show that the additional supervision from explanations can not only produce insightful textual sentences to justify the answers, but also improve the performance of answer prediction. Our model outperforms the state-of-the-art methods by a clear margin on the VQA v2 dataset.

연구 동기 및 목표

• 기존 VQA 시스템의 해석 가능성과 타당성 부족 문제를 해결하기 위해, 답변에 대한 텍스트 설명을 생성해야 하는 새로운 작업인 VQA-E를 도입한다.
• 이미지 캡션과 질의-응답 쌍을 이용하여 VQA v2 데이터셋에서 유도된 고품질의 자동으로 합성된 설명 데이터셋을 구축한다.
• 설명 생성을 보조 작업으로 통합함으로써 다중 작업 학습을 통해 답변 예측 성능을 향상시킬 수 있음을 입증한다.
• 사용자 연구를 통해 합성된 설명의 품질을 검증하며, 특히 다양한 유형의 질문에 대해 관련성과 정보성의 정도를 평가한다.
• 답변 예측과 설명 생성을 동시에 최적화하는 새로운 다중 작업 모델을 개발하여, 해석 가능성과 정확도를 모두 향상시킨다.

제안 방법

• VQA-E 데이터셋은 VQA v2의 이미지 캡션과 해당하는 질의-응답 쌍을 이용해 규칙 기반 및 어텐션 기반 기법을 통해 자동으로 설명을 합성하여 구축된다.
• 모델은 시각적 및 텍스트적 특징을 공유하는 두 개의 헤드(답변 예측 및 설명 생성)를 함께 예측하는 다중 작업 학습 아키텍처를 제안한다.
• 이중 브랜치 인코더를 사용하며, 하나의 브랜치는 답변 예측을 위해, 다른 하나는 설명 생성을 위해 설계되며, 시각적 및 질의 인코더는 공유된다.
• 설명 생성 헤드는 교차 엔트로피 손실로 훈련되며, 답변 예측 헤드는 표준 분류 손실을 사용한다. 둘 다 합성된 데이터로 지도 학습된다.
• 모델는 바닥에서부터 위로 향하는 시각적 특징을 사용하여 VQA v2 데이터셋에서 미세조정되며, 설명 감독의 영향을 분리하기 위한 추론 실험을 실시한다.
• 사용자 연구를 통해 합성된 설명의 품질을 평가하며, 질문 유형에 따라 관련성, 명확성, 정보성의 정도를 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 이미지 캡션에서 자동으로 합성된 텍스트 설명이 VQA 예측을 타당하게 설명하고 성능 향상에 기여할 수 있는가?
• RQ2 답변 예측과 설명 생성을 함께 훈련하면 시각적 콘텐츠의 정확한 국소화와 이해가 향상되는가?
• RQ3 특히 주관적 또는 일반 지식 기반 질문에 대해 합성된 설명의 품질은 어떻게 달라지며, 어떤 영향을 미치는가?
• RQ4 주의 메커니즘만으로 달성 가능한 성능을 넘어서, 설명 감독이 답변 정확도 향상에 기여하는가?
• RQ5 설명의 품질이 모델 성능에 어떤 영향을 미치는가? 관련성 없거나 저품질의 설명은 성능 저하를 초래하는가?

주요 결과

• VQA-E 모델은 VQA v2 데이터셋에서 전체 정확도 66.31%를 기록하여 최신 기술인 BUTD 방법(65.67%)을 초월한다.
• 기본 모델 대비 '기타' 답변 유형에서 최대 1.73%p, '예/아니요' 질문에서 2.22%p의 정확도 향상을 보였다.
• 추론 실험 결과, 관련 설명이 포함된 QI-AE-Bottom-up 모델은 63.51%의 정확도를 기록했고, 무작위 설명 버전은 58.74%로 떨어져 설명 품질이 성능에 직접적인 영향을 미친다는 것을 입증했다.
• 정성적 분석을 통해 VQA-E 모델이 더 잘 관련된 이미지 영역을 국소화함을 확인할 수 있었으며, 어텐션 맵이 설명 내용과 일치하는 경향(예: 먹이 주는 상황에서 손에 집중)을 보였다.
• 사용자 연구 결과, 시각적으로 기반된 질문에 대해서는 합성된 설명의 품질이 높은 편이지만, 의사소통 지식이 필요한 주관적 또는 일반 지식 기반 질문에는 효과가 떨어졌다.
• 모델는 단순한 타당성 제시를 넘어서, 답변을 더욱 구체화하거나 확장하는 설명을 생성한다. 예를 들어 '매드온다 셔츠'와 같이 모호한 용어를 명확히 설명함으로써 답변의 정확성을 높인다.