[논문 리뷰] VQABQ: Visual Question Answering by Basic Questions

Jia-Hong Huang, Modar Alfadly외 1명|arXiv (Cornell University)|2017. 03. 19.

Multimodal Machine Learning Applications참고 문헌 10인용 수 15

한 줄 요약

이 논문은 LASSO 최적화를 사용하여 복잡한 질문을 기본 질문으로 분해하고 공액 주의 메커니즘을 활용하여 정답 정확도를 향상시키는 시각질문응답 프레임워크인 VQABQ를 제안한다. 이는 생성된 기본 질문을 효과적으로 활용하여 시각적 및 텍스트적 특징에 대한 추론을 향상시켜 VQA 데이터셋에서 최신 기준(open-ended VQA accuracy)으로 60.34%의 정확도를 달성한다.

ABSTRACT

Taking an image and question as the input of our method, it can output the text-based answer of the query question about the given image, so called Visual Question Answering (VQA). There are two main modules in our algorithm. Given a natural language question about an image, the first module takes the question as input and then outputs the basic questions of the main given question. The second module takes the main question, image and these basic questions as input and then outputs the text-based answer of the main question. We formulate the basic questions generation problem as a LASSO optimization problem, and also propose a criterion about how to exploit these basic questions to help answer main question. Our method is evaluated on the challenging VQA dataset and yields state-of-the-art accuracy, 60.34% in open-ended task.

연구 동기 및 목표

• 시각적 특징에 비해 텍스트 질문 특징을 덜 중시하는 VQA 연구의 불균형을 해소하기 위해 두 특징을 더 효과적으로 통합하는 것.
• 복잡한 질문을 더 단순하고 답할 수 있는 하위 질문(기본 질문)으로 분해하여 VQA에서 종합적인 시나리오 이해를 향상시키는 것.
• 학습된 표현과 최적화를 사용하여 주 질문으로부터 의미적으로 관련성이 높은 기본 질문을 생성하는 방법을 개발하는 것.
• 기본 질문이 VQA 정확도에 미치는 영향을 평가하고, 공액 주의 기반 모델 향상에 기여하는 바를 입증하는 것.
• 미래의 질문 분해 연구를 지원하기 위해 VQA 데이터셋에서 파생된 새로운 기본 질문 데이터셋을 만드는 것.

제안 방법

• 기본 질문 생성 모듈은 메인 질문과 모든 훈련/검증 질문을 Skip-Thought Vectors를 사용해 조밀한 벡터 공간으로 인코딩한다.
• 기본 질문 생성을 LASSO 최적화 문제로 설정하여 사전에 구성된 4800×215623 크기의 기본 질문 행렬에서 가장 관련성이 높은 세 개의 기본 질문을 찾는다.
• 공액 주의 VQA 모듈은 메인 질문, 이미지, 생성된 기본 질문을 입력으로 받아 공액 주의 메커니즘을 사용해 시각적 및 텍스트적 특징을 함께 주의를 기울인다.
• 유사도 점수를 기반으로 테스트 질문 중 기본 질문의 도움을 받을 수 있는지 여부를 결정하기 위해 임계값(s1=0.43, s2=0.82, s3=0.53)을 적용한다.
• 최종 답변은 계층적 주의 메커니즘을 통해 공액 주의를 거친 시각적 및 텍스트적 특징을 조합하여 예측한다.
• 이 방법은 기본 질문을 활용하기 위해 이미지의 특정 영역과 질문의 단어 중에서 기본 질문과 가장 관련성이 높은 요소에 집중하는 기준을 사용한다.

실험 결과

연구 질문

• RQ1 복잡한 시각적 질문을 기본 질문으로 분해하는 것이 VQA 정확도를 향상시킬 수 있는가?
• RQ2 정확한 답변 예측을 지원할 수 있도록 기본 질문을 자동으로 생성할 수 있는 방법은 무엇인가?
• RQ3 기본 질문은 공액 주의 기반 VQA 모델의 성능을 어느 정도 향상시키는가?
• RQ4 질문 유형(예: 세는 질문, 속성 질문, 존재 질문 등)은 기본 질문의 효과성에 어떤 영향을 미치는가?
• RQ5 기본 질문 데이터셋의 품질과 다양성은 전체 VQA 성능에 어떤 영향을 미치는가?

주요 결과

• VQABQ 모델은 VQA 데이터셋에서 최신 기준 오픈엔드 VQA 정확도 60.34%를 달성하여 이전 방법들을 능가한다.
• 기본 모델 대비 142,093개의 테스트 샘플에서 28개 더 정확히 답변하여 명확한 성능 향상을 입증한다.
• 테스트 질문 중 57%만이 훈련 및 검증 세트에서 관련성이 높은 기본 질문을 찾을 수 있었으며, 이는 데이터셋의 다양성과 커버리지에 한계가 있음을 시사한다.
• 공액 주의 메커니즘이 세는 유형의 질문에서 특히 향상된 성능을 보여, 국소적 시각적 추론와 강한 정렬을 이루고 있음을 시사한다.
• 기본 질문 커버리지가 제한적이지만 여전히 정확도 향상이 이루어졌으며, 이는 부분적인 기본 질문 사용만으로도 추론 능력 향상에 기여함을 시사한다.
• 유사 조건에서 최신 기준 방법 [14]을 재현한 결과, 보고된 정확도 이하의 성능을 기록하여 제안된 방법의 공정성과 경쟁력을 입증한다.