[논문 리뷰] Bottom-Up and Top-Down Attention for Image Captioning and VQA.

Peter Anderson, Xiaodong He외 5명|arXiv (Cornell University)|2017. 07. 25.

Multimodal Machine Learning Applications참고 문헌 42인용 수 281

한 줄 요약

이 논문은 이미지 캡션 생성과 시각적 질의 응답(VQA)을 위한 새로운 바닥에서부터 위로, 그리고 위에서부터 아래로의 주의 메커니즘을 제안하며, Faster R-CNN에서 유도한 객체 제안과 동적 특징 가중치를 결합하여 시각적 기반을 향상시킨다. 이 방법은 MSCOCO(CIDEr 117.9, SPICE 21.5, BLEU-4 36.9)에서 최고 성능을 기록하고 2017년 VQA 챌린지에서 우승하였다.

ABSTRACT

Top-down visual attention mechanisms have been used extensively in image captioning and visual question answering (VQA) to enable deeper image understanding through fine-grained analysis and even multiple steps of reasoning. In this work, we propose a combined bottom-up and top-down attention mechanism that enables attention to be calculated at the level of objects and other salient image regions. This is the natural basis for attention to be considered. Within our approach, the bottom-up mechanism (based on Faster R-CNN) proposes image regions, each with an associated feature vector, while the top-down mechanism determines feature weightings. Applying this approach to image captioning, our results on the MSCOCO test server establish a new state-of-the-art for the task, achieving CIDEr / SPICE / BLEU-4 scores of 117.9, 21.5 and 36.9, respectively. Demonstrating the broad applicability of the method, applying the same approach to VQA we obtain first place in the 2017 VQA Challenge.

연구 동기 및 목표

• 객체와 주목할 만한 이미지 영역 수준에서 세밀한 시각적 주의를 가능하게 하여 이미지 캡션 생성과 VQA를 향상시키기 위해.
• 기존의 위에서부터 아래로의 주의 메커니즘이 이미지 영역에 명시적인 기반을 갖추지 못하는 한계를 해결하기 위해.
• 바닥에서부터 위로의 영역 제안과 위에서부터 아래로의 주의 가중치를 결합하여 더 정확하고 해석 가능한 시각적 추론을 가능하게 하기 위해.
• 이미지 캡션 생성과 VQA에 모두 적용 가능한 통합된 프레임워크를 구축하여 성능을 향상시키기 위해.

제안 방법

• 바닥에서부터 위로의 메커니즘은 Faster R-CNN을 사용하여 각각 해당 특징 벡터를 가진 후보 이미지 영역을 생성한다.
• 위에서부터 아래로의 메커니즘은 현재 디코딩 단계 또는 질의 맥락에 기반하여 이러한 영역 특징에 대한 주의 가중치를 계산한다.
• 주의는 개별 객체와 주목할 만한 영역 수준에서 적용되어 집중적인 시각적 추론을 가능하게 한다.
• 선택된 영역의 특징 벡터가 집계되어 캡션 생성의 컨텍스트 또는 VQA의 추론 모듈에서 사용된다.
• 엔드 투 엔드 최적화를 사용하여 이미지 캡션 생성 및 VQA 작업을 공동으로 훈련한다.

실험 결과

연구 질문

• RQ1 바닥에서부터 위로의 영역 제안과 위에서부터 아래로의 주의를 결합하면 이미지 캡션 생성에서 시각적 기반을 향상시킬 수 있는가?
• RQ2 제안된 주의 메커니즘이 이미지 캡션 생성 및 VQA 작업 양쪽에서 성능 향상에 기여하는가?
• RQ3 동일한 주의 메커니즘이 여러 시각-언어 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 이 모델의 주의 분포는 순수하게 위에서부터 아래로 또는 바닥에서부터 위로의 접근 방식과 비교하여 어떻게 다를까?

주요 결과

• 모델은 MSCOCO 테스트 서버에서 CIDEr 점수 117.9로 새로운 최고 성능을 기록하였다.
• MSCOCO 벤치마크에서 SPICE 점수 21.5와 BLEU-4 점수 36.9를 확보하였다.
• 동일한 아키텍처는 2017년 VQA 챌린지에서 1등을 차지하여 광범위한 적용 가능성을 입증하였다.
• 바닥에서부터 위로의 영역 제안과 위에서부터 아래로의 주의의 통합은 더 정확하고 해석 가능한 시각적 주의를 이끌어냈다.