[논문 리뷰] SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering

Peixi Xiong, Quanzeng You외 3명|arXiv (Cornell University)|2022. 01. 25.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 이중 트랜스포머 아키텍처를 통해 시각적 및 텍스처적 콘텐츠의 구조적 그래프 표현을 사용하여 다중 모odal 간 정렬을 향상시키는 새로운 시각질문응답 모델인 SA-VQA를 제안한다. 시나리오 그래프와 의미적 노드 점수를 어텐션 기반으로 통합함으로써, 사전 훈련 없이도 GQA에서 최신 기술 수준의 성능을 달성하고, VQA-v2에서 사전 훈련되지 않은 방법보다 뛰어난 성능을 보이며, 어텐션 시각화를 통해 답변의 해석 가능성까지 향상시킨다.

ABSTRACT

Visual Question Answering (VQA) attracts much attention from both industry and academia. As a multi-modality task, it is challenging since it requires not only visual and textual understanding, but also the ability to align cross-modality representations. Previous approaches extensively employ entity-level alignments, such as the correlations between the visual regions and their semantic labels, or the interactions across question words and object features. These attempts aim to improve the cross-modality representations, while ignoring their internal relations. Instead, we propose to apply structured alignments, which work with graph representation of visual and textual content, aiming to capture the deep connections between the visual and textual modalities. Nevertheless, it is nontrivial to represent and integrate graphs for structured alignments. In this work, we attempt to solve this issue by first converting different modality entities into sequential nodes and the adjacency graph, then incorporating them for structured alignments. As demonstrated in our experimental results, such a structured alignment improves reasoning performance. In addition, our model also exhibits better interpretability for each generated answer. The proposed model, without any pretraining, outperforms the state-of-the-art methods on GQA dataset, and beats the non-pretrained state-of-the-art methods on VQA-v2 dataset.

연구 동기 및 목표

• 시각질문응답(VQA)에서 엔티티 수준의 다중 모달 간 정렬의 한계를 해결하기 위해 그래프 표현을 활용한 구조적 정렬을 도입한다.
• 시각적 영역, 텍스트 질문, 시나리오 그래프 엔티티 간의 깊은 연결을 모델링하여 VQA의 추론 성능을 향상시킨다.
• 이미지 영역과 질문 단어 간의 어텐션 상관관계를 시각화하여 모델의 설명 가능성을 향상시킨다.
• 의미적 그래프의 품질(예: 예측된 레이블 대 조작된 레이블)이 VQA 성능에 미치는 영향을 평가한다.
• 명시적인 그래프 감독 없이도 구조적 그래프 통합이 엔드 투 엔드 어텐션보다 우수한 성능을 내는지 입증한다.

제안 방법

• 모델은 이미지 영역과 그 상위 5개 예측 레이블에서 시각적 그래프와 의미적 그래프를 생성하며, 사전 훈련된 SNS 모델을 사용해 가중치가 부여된 노드 특징을 생성한다.
• 이중 트랜스포머 인코더를 사용하여 시각적 그래프, 의미적 그래프, 질문의 세 가지 입력 스트림을 처리하며, 각각에 대응하는 인접 행렬을 사용한다.
• 그래프 어텐션 기반 기법을 통해 다양한 모odal 간 특징을 정렬하며, 구조적 표현이 관련된 이미지 영역과 질문 단어를 어휘에 집중시키도록 이끈다.
• 공유 어텐션 메커니즘을 통해 다중 모달 특징을 융합하며, 그래프 구조를 활용해 다중 모달 추론 성능을 향상시킨다.
• 초기 객체 후보를 나타내는 슈퍼노드를 사용하며, SNS 신뢰도에 따라 특징을 가중하여 정확도가 낮은 예측으로 인한 노이즈를 감소시킨다.
• 사전 훈련을 피하고, 제한된 데이터에서 효과적인 표현을 학습하기 위해 그래프 기반 어텐션에 의존한다.

실험 결과

연구 질문

• RQ1 엔티티 수준의 어텐션을 넘어서 구조적 그래프 표현이 VQA에서 다중 모달 간 정렬을 향상시킬 수 있는가?
• RQ2 시나리오 그래프 통합이 VQA의 추론 성능과 모델의 설명 가능성에 어떤 영향을 미치는가?
• RQ3 의미적 그래프의 품질(예: 예측된 레이블 대 실제 레이블)이 최종 VQA 정확도에 영향을 미치는가?
• RQ4 통합된 트랜스포머 아키텍처가 명시적 그래프 감독 없이도 여러 그래프 스트림을 효과적으로 처리할 수 있는가?
• RQ5 상위 5개 객체 후보의 가중치 통합 방식이 단일 레이블 또는 균일 평균화보다 더 효과적인가?

주요 결과

• SA-VQA는 사전 훈련되지 않은 최신 기술 수준의 방법보다 VQA-v2 데이터셋에서 뛰어난 성능을 보이며, 강력한 제로샷 일반화 능력을 입증한다.
• GQA 데이터셋에서 SA-VQA는 어떤 사전 훈련도 없이 최신 기술 수준의 성능을 달성하며, 대규모 사전 훈련에 의존하는 모델들을 능가한다.
• 제거 실험 결과, 인접 행렬이나 가이드 그래프를 제거하면 성능 저하가 발생함을 확인하여, 구조적 표현의 중요성을 입증한다.
• SNS 점수를 활용한 상위 5개 객체 특징의 가중치 통합 방식이 균일 평균화나 단일 레이블 입력보다 성능 향상에 기여함을 확인하여 노이즈 감소 전략의 효과를 입증한다.
• SA-VQA의 성능은 기반 의미적 노드 점수 모델(SNS)의 정확도와 정적 상관관계를 보이며, 더 나은 그래프가 더 나은 결과를 산출함을 확인한다.
• 정성적 어텐션 맵을 통해 모델이 관련된 질문 단어와 해당하는 이미지 영역을 효과적으로 정렬함을 확인하였으며, 이는 설명 가능성 향상에 기여한다.