[논문 리뷰] Relation-Aware Graph Attention Network for Visual Question Answering

Linjie Li, Zhe Gan외 2명|arXiv (Cornell University)|2019. 03. 29.

Multimodal Machine Learning Applications참고 문헌 66인용 수 56

한 줄 요약

이 논문은 질문에 조건화된 이미지 내 명시적 및 암시적 객체 간 관계를 모델링하는 관계 인지 그래프 주의 네트워크인 ReGAT를 소개하여 VQA 성능을 향상시킨다. 이는 기존 VQA 아키텍처에 플러그앤플레이 모듈로 호환 가능하며 VQA 2.0 및 VQA-CP v2에서 최첨단 결과를 달성한다.

ABSTRACT

In order to answer semantically-complicated questions about an image, a Visual Question Answering (VQA) model needs to fully understand the visual scene in the image, especially the interactive dynamics between different objects. We propose a Relation-aware Graph Attention Network (ReGAT), which encodes each image into a graph and models multi-type inter-object relations via a graph attention mechanism, to learn question-adaptive relation representations. Two types of visual object relations are explored: (i) Explicit Relations that represent geometric positions and semantic interactions between objects; and (ii) Implicit Relations that capture the hidden dynamics between image regions. Experiments demonstrate that ReGAT outperforms prior state-of-the-art approaches on both VQA 2.0 and VQA-CP v2 datasets. We further show that ReGAT is compatible to existing VQA architectures, and can be used as a generic relation encoder to boost the model performance for VQA.

연구 동기 및 목표

• 이미지 객체 간의 의미론적 동역학과 상호 작용을 이해하기 위한 동기 부여로, 의미적으로 풍부한 VQA를 위한 목적.
• 명시적(공간적/의미적) 및 암시적 관계를 모두 학습하는 관계 인코더를 개발한다.
• 질문에 적응하는 관계 표현을 만들어 주의와 융합을 안내한다.
• ReGAT가 기존 VQA 아키텍처와 호환 가능하며 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 완전 연결된 암시적 관계 그래프를 구성하고, 선택적으로 명시적 관계 그래프(공간적 및 의미적)로 가지치기를 수행한다.
• 관계를 인코딩하기 위한 질문 적응형 그래프 주의 메커니즘을 구현하며, 멀티-헤드 주의가 포함된다.
• 관계 인코더를 암시적, 공간적, 의미적 가지로 분리하고 추론 시 가중 합으로 출력들을 결합한다.
• 객체 영역과 특징을 추출하기 위해 Faster R-CNN을 사용하고 자기 주의가 있는 GRU 기반 질문 인코더를 사용한다.
• 기존 VQA 아키텍처와의 다중 모달 융합을 수행하고 MLP 분류기를 통해 정답을 예측한다.
• 관계 인코더를 독립적으로 학습시키고 학습된 가중치(α, β)로 출력을 앙상블한다.

실험 결과

연구 질문

• RQ1 명시적 및 암시적 객체 간 관계가 객체 수준 특성 이상으로 VQA 성능을 향상시킬 수 있는가?
• RQ2 질문 적응형 관계 인코더가 비적응 방법보다 질문-지역 정렬을 더 잘 수행하는가?
• RQ3 ReGAT가 기존 VQA 아키텍처 및 데이터셋에 플러그앤플레이 모듈로 호환되는가?
• RQ4 모델 간 성능에 대한 각 관계 유형(의미적, 공간적, 암시적)의 기여는 무엇인가?

주요 결과

• ReGAT는 VQA 2.0에서 Bottom-up Top-Down (BUTD), MUTAN, BAN 기반선에서 일관된 향상을 보인다.
• 각 관계 유형(의미적, 공간적, 암시적)은 그래프 주의와 함께 사용할 때 성능을 향상시킨다.
• 질문 적응형 관계는 정적 관계 인코더를 넘어 추가 이점을 제공한다.
• VQA-CP v2에서 ReGAT은 최첨단 결과를 달성하며, 모든 관계를 사용할 때 현저한 이점을 보인다.
• 전반적으로 ReGAT의 통합은 추가 특징 증강 없이도 기준선보다 크게 성능을 상회한다.