[논문 리뷰] MGA-VQA: Multi-Granularity Alignment for Visual Question Answering

Peixi Xiong, Yilin Shen외 1명|arXiv (Cornell University)|2022. 01. 25.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

MGA-VQA는 시각적 질의 응답(VQA)를 위한 다중 군집도 정렬 프레임워크를 제안하며, 개념-엔티티, 영역-명사구, 공간-문장의 세 수준에서 내부 및 상호 모odal 상관관계를 학습함으로써 교차 모odal 어텐션을 향상시킨다. 구조화된 리드 그래프와 결합된 의사결정 융합 모듈을 사용함으로써, 추가 사전학습 데이터 없이도 GQA와 VQA-v2에서 최신 기준 성능을 달성하며, GQA에서는 사전학습 모델조차도 뛰어넘는 성능을 보였다.

ABSTRACT

Learning to answer visual questions is a challenging task since the multi-modal inputs are within two feature spaces. Moreover, reasoning in visual question answering requires the model to understand both image and question, and align them in the same space, rather than simply memorize statistics about the question-answer pairs. Thus, it is essential to find component connections between different modalities and within each modality to achieve better attention. Previous works learned attention weights directly on the features. However, the improvement is limited since these two modality features are in two domains: image features are highly diverse, lacking structure and grammatical rules as language, and natural language features have a higher probability of missing detailed information. To better learn the attention between visual and text, we focus on how to construct input stratification and embed structural information to improve the alignment between different level components. We propose Multi-Granularity Alignment architecture for Visual Question Answering task (MGA-VQA), which learns intra- and inter-modality correlations by multi-granularity alignment, and outputs the final result by the decision fusion module. In contrast to previous works, our model splits alignment into different levels to achieve learning better correlations without needing additional data and annotations. The experiments on the VQA-v2 and GQA datasets demonstrate that our model significantly outperforms non-pretrained state-of-the-art methods on both datasets without extra pretraining data and annotations. Moreover, it even achieves better results over the pre-trained methods on GQA.

연구 동기 및 목표

• 단일 수준 융합을 넘어서 교차 모달 어텐션을 향상시킴으로써 시각적 및 텍스처적 특징 간 정렬 문제를 해결한다.
• 직접적인 특징 융합 또는 구조적 지침 없이 어텐션에 의존하는 기존 방법의 한계를 극복한다.
• 이미지 및 언어 구성 요소의 다중 군집도에서 상관관계를 학습함으로써 더 나은 해석 가능성과 강건성을 확보한다.
• 대규모 사전학습 데이터에 대한 의존도를 제거하기 위해 그래프 기반의 다중 군집도 어텐션 메커니즘을 도입한다.
• 구조화되고 다중 수준의 정렬이 복잡한 시각적 추론 작업에서 추론 능력과 일반화 능력을 향상시킨다는 것을 입증한다.

제안 방법

• 세 가지 군집도 수준을 도입: 개념-엔티티(이미지), 영역-명사구(이미지 및 질문), 공간-문장(전체 이미지 및 질문).
• 각 군집도 수준에서 이미지 및 질문 표현에 구조적 정보를 통합하기 위해 리드 그래프를 구성한다.
• 각 군집도 수준에서 내부 및 상호 모달 상관관계를 학습하기 위해 별도의 트랜스포머(GA-TRMs)를 적용한다.
• 질문에 기반한 시각적 어텐션과 이미지에 기반한 질문 어텐션을 동시에 수행하는 공통 어텐션 메커니즘을 구현한다.
• 모든 군집도 수준의 출력을 융합하여 최종 답변 예측을 위한 의사결정 융합 모듈을 사용한다.
• 추가적인 사전학습 데이터 없이, 아키텍처 자체의 계층적 정렬 학습 능력에 의존하여 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 대규모 사전학습 데이터 없이도 다중 군집도 정렬이 시각적 질의 응답 성능을 향상시킬 수 있는가?
• RQ2 이미지 및 언어 구성 요소의 다중 수준에서 상관관계를 학습함으로써 모델의 강건성과 해석 가능성은 어떻게 영향을 받는가?
• RQ3 리드 그래프와 같은 구조화된 그래프 정보를 통합할 경우 교차 모달 어텐션과 추론 능력은 어느 정도 향상되는가?
• RQ4 다양한 군집도 수준에서 내부 및 상호 모달 상관관계를 동시에 학습하는 것이 단일 수준 정렬보다 더 나은 일반화 능력을 제공하는가?
• RQ5 외부 사전학습 데이터나 애너테이션에 의존하지 않고도 GQA 및 VQA-v2에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• MGA-VQA는 GQA test-std 스플릿에서 79.4%의 탑-1 정확도를 달성하여, 사전학습되지 않은 최신 기준 방법들을 능가하며, 일부 사전학습 모델을 뛰어넘는 성능을 보였다.
• VQA-v2 test-dev 스플릿에서는 65.8%의 탑-1 정확도를 기록하여, 사전학습 데이터 없이도 뛰어난 성능을 보였다.
• 제거 실험 결과, 다중 군집도 정렬이 필수적임을 확인: 어느 수준이든 제거할 경우 성능 저하가 발생했으며, 세 수준 모두 사용했을 때 정확도가 가장 높았다.
• 리드 그래프 구성 요소가 성능 향상에 크게 기여함을 입증: 리드 그래프를 제거했을 경우 정확도가 2.1% 감소하여, 정렬을 안내하는 데서의 역할을 확인했다.
• 고수준 개념 검출이 정확도가 떨어지는 상황에서도 저수준 정렬이 보완적인 세부 정보를 제공함으로써 강건한 성능 유지가 가능했다.
• 훈련 시 진짜 시나리오 그래프(ground-truth scene graphs)를 사용할 경우 92.79%의 정확도를 기록하여, 정확한 구조적 입력이 제공될 경우 모델의 강력한 추론 능력을 확인할 수 있었다.