[논문 리뷰] Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering

Vahid Kazemi, Ali Elqursh|arXiv (Cornell University)|2017. 04. 11.

Multimodal Machine Learning Applications참고 문헌 2인용 수 148

한 줄 요약

논문은 LSTM 질문 인코더, ResNet 이미지 인코더, 이미지 영역에 대한 소프트 어텐션, 그리고 두 층 분류기로 VQA 1.0 및 VQA 2.0에서 이전 최첨단을 능가하는 간단하고 강력한 베이스라인을 제시합니다.

ABSTRACT

This paper presents a new baseline for visual question answering task. Given an image and a question in natural language, our model produces accurate answers according to the content of the image. Our model, while being architecturally simple and relatively small in terms of trainable parameters, sets a new state of the art on both unbalanced and balanced VQA benchmark. On VQA 1.0 open ended challenge, our model achieves 64.6% accuracy on the test-standard set without using additional data, an improvement of 0.4% over state of the art, and on newly released VQA 2.0, our model scores 59.7% on validation set outperforming best previously reported results by 0.5%. The results presented in this paper are especially interesting because very similar models have been tried before but significantly lower performance were reported. In light of the new results we hope to see more meaningful research on visual question answering in the future.

연구 동기 및 목표

• 상태-최첨단 성능을 달성하기 위해 더 복잡한 아키텍처가 필요하다는 인식을 도전하고, VQA에 대해 강력하고 단순한 베이스라인을 확립하고 동기를 제시한다.
• 정교한 학습 세부사항(정규화, 드롭아웃, 소프트 어텐션)이 컴팩트한 모델로도 상당한 이득을 얻을 수 있음을 보여준다.
• VQA 1.0(test-standard) 및 VQA 2.0(validation)에서의 성능을 정량화하고 기존의 최첨단과 비교한다.

제안 방법

• 질문은 word embeddings로 입력된 LSTM으로 인코딩한다.
• 사전 학습된 152-layer ResNet으로 이미지 특징을 추출하고, 마지막 컨볼루션 계층의 출력(14x14x2048)을 취한 뒤 L2 정규화를 적용한다.
• LSTM 상태에 조건화된 공간 이미지 특징에 대해 계층적으로 쌓인 soft-attention 메커니즘을 적용하여 다수의 이미지 글림스(이미지 글림스)를 얻는다.
• 이미지 글림스를 최종 LSTM 상태와 연결하고 두 층의 분류기를 통과시켜 가장 자주 나오는 응답 상위 3000개의 확률을 출력한다.
• Adam 최적화기와 규제용 드롭아웃을 사용하여 모든 질문에 대해 정답에 해당하는 올바른 응답들의 교차 엔트로피 손실을 평균화하여 학습한다.

실험 결과

연구 질문

• RQ1 상태-최첨단 성능에 도달하기 위해 비교적 단순한 아키텍처가 주의 깊은 학습 세부사항과 함께 VQA 1.0 및 VQA 2.0에서 최첨단 결과를 달성할 수 있는가?
• RQ2 정규화, 드롭아웃, 어텐션 및 아키텍처 선택이 VQA 성능에 미치는 영향은 무엇인가?
• RQ3 제안된 베이스라인이 표준 VQA 벤치마크에서 기존 방법과 어떻게 비교되는가?
• RQ4 소프트-어텐션이 VQA 모델의 성능 향상에 필수적인가?
• RQ5 임베딩 크기, LSTM 크기, 어텐션 크기, 분류기 크기 등의 하이퍼파라미터가 정확도에 미치는 영향은?

주요 결과

• 추가 데이터 없이 VQA 1.0에서 64.6% test-standard 정확도를 달성하여 이전 최고보다 0.4% 포인트 높다.
• VQA 2.0 검증에서 59.7%를 기록하여 이전 최고보다 0.5% 포인트 높다.
• 이미지 특징의 L2 정규화, 드롭아웃, 그리고 소프트 어텐션이 정확도와 학습 효율성을 크게 향상시킨다.
• 스택드 어텐션은 강력한 단일 베이스라인에 비해 이득이 제한적이다; 이층 분류기가 성능에 상당한 도움을 준다.
• 모델은 ResNet 기반 이미지 임베딩과 1024-d LSTM에 300-d 어휘 임베딩을 사용하며, 여러 하이퍼파라미터는 합리적 범위 내에서 영향이 제한적이다.