[논문 리뷰] Survey of Recent Advances in Visual Question Answering

Supriya Pandhre, Shagun Sodhani|arXiv (Cornell University)|2017. 09. 24.

Multimodal Machine Learning Applications참고 문헌 19인용 수 9

한 줄 요약

이 종합 검토는 시각 질문 응답(VQA) 분야의 최근 발전을 다루며, 주로 시각적 및 텍스트적 특징을 주의 메커니즘과 외부 지식 기반 시스템을 통해 통합하는 딥 러닝 모델에 초점을 맞춘다. 최신 성능을 강조하며, Show, Ask, Attend, and Answer 모델이 VQA2.0 검증 세트에서 59.67%의 정확도를 기록했고, 주의 메커니즘이 모델의 해석 가능성과 성능 향상에 핵심적인 역할을 한다고 밝힌다.

ABSTRACT

Visual Question Answering (VQA) presents a unique challenge as it requires the ability to understand and encode the multi-modal inputs - in terms of image processing and natural language processing. The algorithm further needs to learn how to perform reasoning over this multi-modal representation so it can answer the questions correctly. This paper presents a survey of different approaches proposed to solve the problem of Visual Question Answering. We also describe the current state of the art model in later part of paper. In particular, the paper describes the approaches taken by various algorithms to extract image features, text features and the way these are employed to predict answers. We also briefly discuss the experiments performed to evaluate the VQA models and report their performances on diverse datasets including newly released VQA2.0[8].

연구 동기 및 목표

• CVPR 2016 및 관련 연구에서 발표된 최근 VQA 접근법에 대한 종합적 검토를 제공하기 위해.
• 다중모달 VQA 모델에서 시각적 및 텍스트적 특징를 추출하고 융합하는 방법을 분석하기 위해.
• VQA1.0, VQA2.0, COCO-QA, DAQUAR를 포함한 다양한 데이터셋에서 모델 성능을 평가하기 위해.
• 주목할 만한 추세로 주의 메커니즘과 외부 지식 통합이 VQA에서의 추론 능력을 향상시키는 방식을 규명하기 위해.
• 표준화된 데이터셋에서 최신 기술 모델을 벤치마킹하고 아키텍처 혁신으로 인한 성능 향상을 부각하기 위해.

제안 방법

• 이미지 표현을 세 부분으로 나누어 사용: 속성 기반(VGG16를 미세조정하여), 캡션 기반(MSCOCO 캡션에 대해 LSTM 적용), 지식 기반(DBpedia 및 Doc2Vec 활용).
• 융합된 이미지 속성, 캡션, 외부 지식 표현에서 답변을 생성하기 위해 인코더-디코더 LSTM 아키텍처를 사용.
• 유사한 이미지 영역과 질문 단어에 집중하기 위해 소프트 주의 메커니즘을 적용하여 특징의 관련성과 모델의 해석 가능성 향상.
• 고수준 이미지 특징 추출을 위해 잔차 신경망(ResNet-152)을 사용하고, L2 정규화를 적용한 후 LSTM로 인코딩된 질문 특징과 연결.
• 다중모달 풀링 및 게이팅 메커니즘(MCB 및 DAN 등에서 사용)을 통해 시각적 및 텍스트적 특징를 효과적으로 융합.
• Adam 옵timizer를 사용한 엔드 투 엔드 학습, 드롭아웃(0.5), L2 정규화를 적용하여 과적합을 줄이고 일반화 능력을 향상.

실험 결과

연구 질문

• RQ1 속성, 캡션, 지식 기반 시스템 등 다양한 특징 추출 전략이 VQA 성능에 어떤 영향을 미치는가?
• RQ2 주의 메커니즘이 VQA 모델의 추론 능력과 해석 가능성에 얼마나 기여하는가?
• RQ3 DBpedia와 같은 구조화된 데이터베이스에서의 외부 지식 통합이 개방형, 자유형 질문에서의 성능 향상에 어떤 영향을 미치는가?
• RQ4 잔차 신경망, L2 정규화, 드롭아웃과 같은 아키텍처 구성 요소가 모델 일반화에 미치는 영향은 무엇인가?
• RQ5 VQA2.0은 이전 데이터셋과 비교해 어떻게 성능을 냈으며, 새로운 데이터 분포가 모델 성능 향상에 어떤 기여를 하는가?

주요 결과

• Show, Ask, Attend, and Answer 모델은 VQA2.0 검증 세트에서 59.67%의 정확도를 기록하여 당시 최고의 성능을 달성했다.
• 주의 메커니즘이 성능 향상에 크게 기여했으며, 주의 기반 모델이 아닌 경우 VQA1.0에서 정확도가 57.72%에 그쳤다.
• L2 정규화와 드롭아웃은 일반화에 핵심적인 역할을 하였으며, 이를 생략할 경우 정확도가 각각 5.86%와 3.27% 감소했다.
• 스태킹된 주의 메커니즘은 단일 레이어 주의보다 성능 향상이 미미하여 수익 감소 현상이 나타남.
• MCB 모델은 VQA1.0에서 66.7%의 정확도를 기록하여 이전 벤치마크에서 다른 모델들을 압도적으로 앞섰다.
• VQA2.0의 설계—질문 수를 두 배로 늘리고 이미지-질문-답변 트리플의 유일성을 확보—는 편향을 줄이고 모델의 강건성을 향상시켰다.