[논문 리뷰] Visual7W: Grounded Question Answering in Images

Yuke Zhu, Oliver Groth외 2명|arXiv (Cornell University)|2015. 11. 11.

Multimodal Machine Learning Applications참고 문헌 53인용 수 45

한 줄 요약

이 논문은 327,939개의 다중 선택형 QA 쌍을 포함한 대규모 데이터셋인 Visual7W를 소개한다. 이는 이미지 영역에 기반한 시각적 질의 응답(VQA)을 가능하게 하며, 텍스트적 및 시각적 응답을 모두 지원한다. 본 논문은 공간적 주의 메커니즘을 갖춘 LSTM 모델을 제안하여 55.6%의 정확도를 달성하였으며, 이는 이전 모델들을 크게 앞서며 주의 맵과 객체 기반 위치 간의 강한 일치를 보여준다.

ABSTRACT

We have seen great progress in basic perceptual tasks such as object recognition and detection. However, AI models still fail to match humans in high-level vision tasks due to the lack of capacities for deeper reasoning. Recently the new task of visual question answering (QA) has been proposed to evaluate a model's capacity for deep image understanding. Previous works have established a loose, global association between QA sentences and images. However, many questions and answers, in practice, relate to local regions in the images. We establish a semantic link between textual descriptions and image regions by object-level grounding. It enables a new type of QA with visual answers, in addition to textual answers used in previous work. We study the visual QA tasks in a grounded setting with a large collection of 7W multiple-choice QA pairs. Furthermore, we evaluate human performance and several baseline models on the QA tasks. Finally, we propose a novel LSTM model with spatial attention to tackle the 7W QA tasks.

연구 동기 및 목표

• 시각적 질의 응답에서 자연어 질문과 특정 이미지 영역 간 격차를 해소하기 위해 객체 수준의 기반을 도입한다.
• 텍스트적 및 시각적 응답을 모두 지원하는 벤치마크 데이터셋을 구축하여 기반 추론 평가를 가능하게 한다.
• 인간(96.6% 정확도)과 기계(기본 LSTM 모델 기준 52.1% 정확도) 간의 기반 시각적 질의 응답에서의 성능 격차를 조사한다.
• 질문에 답할 때 관련 이미지 영역에 집중할 수 있도록 공간적 주의를 활용하는 딥 러닝 모델을 개발한다.
• 학습 데이터에서 객체 카테고리 빈도가 모델 성능과 희귀 카테고리로의 지식 전이에 미치는 영향을 분석한다.

제안 방법

• COCO 이미지 47,300장을 활용하여 7W 질문 유형(무엇, 어디, 언제, 누가, 왜, 어떻게, 어느)을 포함한 327,939개의 QA 쌍을 주석 처리한다.
• 질문 또는 응답에서 언급된 각 객체를 이미지 내의 바운딩 박스에 연결함으로써 객체 수준의 기반을 제공한다.
• 질문 토큰을 순차적으로 처리하면서 이미지 영역에 주의를 기울이는 새로운 LSTM 기반 모델을 도입한다.
• 시간에 따른 최대 풀링을 통해 14×14 이미지 영역 그리드에 대한 주의 히트맵을 생성하여 모델이 집중하는 영역을 시각화한다.
• 다중 선택 주석(130만 개)과 인간 평가를 활용하여 데이터 품질 및 모델 성능을 검증한다.
• 시각화를 위해 주의 히트맵에 가우시안 블러를 적용하고, 이를 진짜 객체 바운딩 박스와 비교한다.

실험 결과

연구 질문

• RQ1 객체 수준의 기반은 시각적 질의 응답 모델의 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ2 최신 기술 모델의 성능은 기반 시각적 질의 응답 작업에서 인간 성능과 비교해 어떻게 되는가?
• RQ3 LSTM 모델의 공간적 주의가 이미지 내 진짜 객체 위치와 어느 정도 일치하는가?
• RQ4 학습 데이터에서 객체 카테고리의 빈도가 모델 정확도에 미치는 영향은 무엇이며, 특히 희귀 카테고리에서 어떻게 나타나는가?
• RQ5 모델는 빈도가 높은 카테고리에서의 지식을 희귀 카테고리로 효과적으로 전이할 수 있는가?

주요 결과

• Visual7W 데이터셋에서 인간의 성능은 96.6%에 이르며, 이는 최고의 기본 LSTM 모델(52.1% 정확도)과의 상당한 격차를 보여준다.
• 제안된 LSTM-Att 모델은 '어떻게' 질문을 제외한 모든 질문 유형에서 모든 기준 모델을 능가하며 55.6%의 정확도를 달성한다.
• 모델의 주의 히트맵 분석 결과, 피크 주의가 진짜 객체 바운딩 박스 내부에 위치한 경우가 전체의 24%에 달하여 관련 영역과 강한 일치를 보인다.
• 학습 데이터에서 빈도가 낮은 객체 카테고리에 대해서도 모델은 여전히 50% 이상의 정확도를 달성하여 빈번한 카테고리에서 희귀 카테고리로의 효과적인 지식 전이를 보여준다.
• '어떻게' 질문에 대해서는 성능이 열악하여 원인관계나 절차적 관계에 대한 추론에 한계를 보인다.
• 이미지가 없는 조건에서는 LSTM 모델이 46.2%의 정확도를 기록하며 인간의 성능(35.3%)을 뛰어넘는다. 이는 시각적 맥락이 없을 경우 모델가 응답 사전에 강하게 의존하고 있음을 시사한다.