[논문 리뷰] Generating Question Relevant Captions to Aid Visual Question Answering

Jialin Wu, Zeyuan Hu외 1명|arXiv (Cornell University)|2019. 06. 03.

Multimodal Machine Learning Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 시각질문응답(VQA) 성능을 햖을 수 있도록 질문과 관련된 캡션을 생성하는 통합 학습 프레임워크를 제안한다. 주어진 질문에 대해 답변하는 데 가장 도움이 되는 캡션을 기울기 기반 방법으로 식별함으로써, 캡션 인식 주의 메커니즘을 통해 VQA 정확도를 향상시키며, 단일 모델로 VQA v2 테스트 표준 세트에서 68.4%의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Visual question answering (VQA) and image captioning require a shared body of general knowledge connecting language and vision. We present a novel approach to improve VQA performance that exploits this connection by jointly generating captions that are targeted to help answer a specific visual question. The model is trained using an existing caption dataset by automatically determining question-relevant captions using an online gradient-based method. Experimental results on the VQA v2 challenge demonstrates that our approach obtains state-of-the-art VQA performance (e.g. 68.4% on the Test-standard set using a single model) by simultaneously generating question-relevant captions.

연구 동기 및 목표

• 주어진 질문과 관련된 텍스트 기반 이미지 기술을 활용하여 VQA 성능을 향상시키기 위해.
• 일반적인 캡션의 질문 특화 시각적 세부 정보를 포착하지 못하는 한계를 해결하기 위해 타겟된 기술을 생성하기 위해.
• 시각적 특징에만 의존하는 것을 줄이고 질문 편향을 완화하기 위해 캡션 기반 지식을 통합하기 위해.
• 캡션 생성과 VQA 목표를 기울기 기반 유사도 스코어링을 통해 정렬하는 학습 방법을 개발하기 위해.
• 캡션에서 유도된 임베딩을 사용하여 주의 메커니즘을 향상시켜 질문과 가장 관련이 깊은 이미지 영역에 집중시키기 위해.

제안 방법

• 캡션 생성 및 VQA 손실 함수의 기울기 내적을 기반으로, 각 질문에 대해 가장 관련성이 높은 정답 캡션을 탐욕 알고리즘으로 선별한다.
• 질문과 관련된 캡션을 인코딩하고 VQA 모델에 통합하여 답변 예측에 활용하는 캡션 임베딩 모듈을 도입한다.
• 캡션 임베딩을 사용하여 상향식 시각 주의 가중치를 수정하는 새로운 캡션 인식 주의 조정(CAA) 메커니즘을 제안하며, 관련 있는 이미지 영역의 국소화를 향상시킨다.
• 캡션 관련성과 VQA 정확도를 동시에 최적화함으로써, 추가 애너테이션 없이도 이미지-캡션 데이터셋만을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 캡셔닝과 VQA 작업 간의 공통 최적화 방향을 활용하여, 생성된 캡션이 후행 답변 예측을 향상시키도록 보장한다.
• 인간 애너테이션 및 자동 생성된 질문 관련 캡션을 모두 사용하여 VQA v2 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 질문과 관련된 캡션을 생성함으로써 일반적인 캡션을 사용할 때보다 VQA 성능을 향상시킬 수 있는가?
• RQ2 캡션 생성을 어떻게 최적화하여 일반적인 기술이 아닌 특정 VQA 작업을 지원하도록 할 수 있는가?
• RQ3 캡션에서 유도된 임베딩이 인간 애너테이션으로 지정된 중요한 영역과의 주의 정렬을 어느 정도 향상시키는가?
• RQ4 캡션 생성과 VQA 목표를 정렬하는 통합 학습 전략이 더 나은 일반화와 질문 편향 감소에 기여하는가?
• RQ5 캡션 인식 주의 조정이 질문에 답하기 위해 핵심적인 이미지 영역에 집중하는 능력을 향상시키는가?

주요 결과

• 제안된 모델은 단일 모델을 사용하여 VQA v2 테스트 표준 세트에서 68.4%의 정확도를 달성하여 새로운 최신 기술 수준(SOTA) 성능을 확립한다.
• 정답 인간 캡션을 사용할 경우, 검증 세트에서 정확도가 63.2%에서 67.1%로 향상되어 질문과 관련된 캡션 생성의 효과를 입증한다.
• 자동 생성된 질문 관련 캡션을 사용할 경우에도 검증 세트에서 65.8%의 정확도를 기록하여 방법의 강건성을 보여준다.
• 캡션 인식 주의 조정(CAA)을 적용함으로써 인간 애너테이션 주의와 비교할 때 지구 이동 거리(EMD)가 2.38에서 2.30으로 감소하여 인간의 집중과의 정렬도 향상됨을 나타낸다.
• 사례 연구를 통해 CAA를 사용할 경우 모델이 파란 선창이 아닌 노란 수영보드에 빨간 디테일이 있는 것을 정확히 식별함으로써 주의 국소화 능력 향상을 입증한다.
• 자동 생성된 캡션을 사용할 경우, 기준 모델인 Up-Down 대비 테스트 표준 세트에서 5.2%p 높은 성능을 기록한다.