[논문 리뷰] Improving Visual Question Answering by Referring to Generated Paragraph Captions

Hyounghun Kim, Mohit Bansal|arXiv (Cornell University)|2019. 06. 14.

Multimodal Machine Learning Applications참고 문헌 24인용 수 6

한 줄 요약

이 논문은 시각적 특징과 함께 자동으로 생성된 단락 요약 및 개체 속성 기술을 통합함으로써 VQA 성능을 햖थ하는 시각-문자 질문 응답(VTQA) 모델을 제안한다. 초기, 후기, 후기 융합 전략을 사용하여 상호 보완적인 시각적 및 문자적 정보를 활용하며, Visual Genome 데이터셋에서 검증 정확도 47.43%를 달성하여 강력한 베이스라인을 크게 앞서며, 추론 분석을 통해 각 융합 구성 요소의 가치를 확인한다.

ABSTRACT

Paragraph-style image captions describe diverse aspects of an image as opposed to the more common single-sentence captions that only provide an abstract description of the image. These paragraph captions can hence contain substantial information of the image for tasks such as visual question answering. Moreover, this textual information is complementary with visual information present in the image because it can discuss both more abstract concepts and more explicit, intermediate symbolic information about objects, events, and scenes that can directly be matched with the textual question and copied into the textual answer (i.e., via easier modality match). Hence, we propose a combined Visual and Textual Question Answering (VTQA) model which takes as input a paragraph caption as well as the corresponding image, and answers the given question based on both inputs. In our model, the inputs are fused to extract related information by cross-attention (early fusion), then fused again in the form of consensus (late fusion), and finally expected answers are given an extra score to enhance the chance of selection (later fusion). Empirical results show that paragraph captions, even when automatically generated (via an RL-based encoder-decoder model), help correctly answer more visual questions. Overall, our joint model, when trained on the Visual Genome dataset, significantly improves the VQA performance over a strong baseline model.

연구 동기 및 목표

• 풍부한 기술이 포함된 단락 요약을 추가적인 문자적 맥락으로 통합하여 시각적 질문 응답(VQA) 성능을 향상시키는 것.
• 단일 문장 요약보다 더 명시적으로 다양한 이미지 요소를 기술하는 단락 형식의 요약이 VQA 성능 향상에 기여하는지 탐색하는 것.
• 다양한 융합 전략을 통해 시각적 및 문자적 특징을 효과적으로 융합하는 통합 모델을 설계하여 정답 정확도를 향상시키는 것.
• 자동 생성된 단락 요약과 진정된(ground-truth) 요약이 VQA 성능에 미치는 영향을 평가하는 것.
• 현재 모델이 단락 요약에서 유용한 정보를 추출하는 데에 미치는 한계를 규명하여未래 개선 방향을 제시하는 것.

제안 방법

• VTQA 모델은 강화학습 기반의 사전 훈련된 단락 요약 생성 모델을 사용하며, CIDEr 보상과 n-gram 반복 방지 페널티를 적용하여 이미지에서 기술적인 요약을 생성한다.
• 검출된 개체에 대한 속성(예: '소는 갈색이다')은 간단한 문장으로 추출 및 인코딩되어 검출된 개체에 대한 명시적이고 상징적인 정보를 제공한다.
• 시각적 특징은 Anderson 등(2018)의 하향식 및 상향식 주의 메커니즘을 사용하여 추출된다.
• 초기 융합은 교차 주의를 통해 시각적 및 문자적 특징을 결합하여 양 모odal에서 관련 정보를 추출한다.
• 후기 융합은 별도의 시각적 및 문자적 모듈의 예측 점수를 집계하여 정답에 대한 일치를 도출한다.
• 후기 융합은 검출된 개체 속성에서 유도된 목록에 포함된 정답일 경우 점수를 높여 선택 가능성에 기여한다.

실험 결과

연구 질문

• RQ1 다양한 이미지 요소를 기술하는 단락 형식의 이미지 요약은 단일 문장 요약보다 VQA 성능 향상에 기여하는가?
• RQ2 자동 생성된 단락 요약의 통합이 VQA 정확도에 미치는 영향은 무엇이며, 진정된 요약과 비교해 볼 때 어떻게 다른가?
• RQ3 초기, 후기, 후기 중 어떤 융합 전략이 시각적 및 문자적 특징을 융합할 때 VQA 성능 향상에 가장 효과적인가?
• RQ4 시각적 정보만으로는 어려운 질문에 대해 VQA 모델이 단락 요약에서 명시적인 문자적 단서를 얼마나 효과적으로 활용할 수 있는가?
• RQ5 현재 모델이 고품질의 진정된 단락 요약에서 정보를 충분히 활용하지 못하는 이유는 무엇이며, 이를 보완하기 위한 개선 방안은 무엇인가?

주요 결과

• 자동 생성된 단락 요약을 사용할 경우 VTQA 모델은 Visual Genome 데이터셋에서 검증 정확도 47.43%를 달성하며, 강력한 베이스라인 모델을 유의미하게 뛰어넘는다(p < 0.001).
• 후기 융합은 기본 모델 대비 0.95% 향상된 성능을 보이며, 시각적 및 문자적 특징의 상호 보완적 이점이 입증된다.
• 후기 융합은 정답이 검출된 개체 속성 목록에 포함될 경우 점수를 높이는 방식으로, 기본 모델 대비 1.54% 향상되었으며, 후기 융합 대비 1.24% 향상되었다.
• 인간 평가 결과, 진정된 단락 요약은 55.00%의 정확도를 기록한 반면, 생성된 요약은 42.67%에 머물러 12.33%의 성능 격차를 보였다.
• 진정된 요약을 기반으로 훈련된 TextQA 모델은 43.96%의 정확도를 기록한 반면, 동일한 모델이 생성된 요약을 기반으로 훈련한 경우 정확도는 42.07%에 머물러, 모델이 부분 정보를 추출할 수 있음에도 불구하고 1.89%의 격차가 존재함을 보였다.
• 진정된 단락 요약을 사용할 경우 전체 VTQA 모델은 48.04%의 정확도를 기록하였으며, 이는 현재 모델이 여전히 고품질의 문자 정보를 충분히 활용하지 못하고 있음을 시사하며,未래 개선을 위한 핵심 영역임을 강조한다.