[논문 리뷰] Bilinear Graph Networks for Visual Question Answering

Dalu Guo, Chang Xu외 1명|arXiv (Cornell University)|2019. 07. 23.

Multimodal Machine Learning Applications참고 문헌 35인용 수 6

한 줄 요약

이 논문은 질문의 단어들 간의 상호의존성을 모델링하기 위해 두 가지 전용 그래프를 사용하는 이중 그래프 네트워크(Bilinear Graph Networks, BGNs)를 제안한다: 이미지-그래프는 질문 단어와 이미지 객체를 융합하고, 질문-그래프는 공동 임bedding 간의 맥락 정보를 전파한다. 이 방법은 VQA v2.0 test-std 세트에서 72.41%의 정확도를 기록하며, 강화된 다중모odal 및 내부모드 주의 메커니즘을 통해 복잡한 다단계 질문에 대해 뛰어난 추론 능력을 보여준다.

ABSTRACT

This paper revisits the bilinear attention networks in the visual question answering task from a graph perspective. The classical bilinear attention networks build a bilinear attention map to extract the joint representation of words in the question and objects in the image but lack fully exploring the relationship between words for complex reasoning. In contrast, we develop bilinear graph networks to model the context of the joint embeddings of words and objects. Two kinds of graphs are investigated, namely image-graph and question-graph. The image-graph transfers features of the detected objects to their related query words, enabling the output nodes to have both semantic and factual information. The question-graph exchanges information between these output nodes from image-graph to amplify the implicit yet important relationship between objects. These two kinds of graphs cooperate with each other, and thus our resulting model can model the relationship and dependency between objects, which leads to the realization of multi-step reasoning. Experimental results on the VQA v2.0 validation dataset demonstrate the ability of our method to handle the complex questions. On the test-std set, our best single model achieves state-of-the-art performance, boosting the overall accuracy to 72.41%.

연구 동기 및 목표

• 복합적이고 구성적인 추론을 포착하지 못하는 이중 주의 네트워크의 한계를 해결하기 위해 질문 단어 간의 내부 관계를 모델링하지 못하는 문제를 해결한다.
• 질문의 단어들과 시각적 객체 간의 맥락 모델링 부족으로 인해 VQA에서 다단계 추론이 저해되는 문제를 해결한다.
• 질문 단어와 이미지 객체의 공동 임베딩 간의 의존성을 명시적으로 모델링하는 그래프 기반 메커니즘을 개발한다.
• 계산적 관계 이해이 필요한 장문의 복잡한 질문, 예를 들어 세는 것, 공간적 추론, 추상적 시나리오 해석에 대해 더 나은 성능을 내도록 한다.
• 다중모달 표현 학습에서 그래프 기반 메시지 전달의 효과성을 입증한다.

제안 방법

• 질문의 각 단어를 이미지에서 검출된 관련 객체들과 연결하는 이미지-그래프를 구축하여, 의미적 정보와 시각적 사실 정보를 모두 포함한 공동 임베딩을 생성한다.
• 질문 단어 기반의 공동 임베딩 간에 메시지 전달을 수행하는 질문-그래프를 설계하여, 반복적인 맥락 교환을 통해 객체 간 암묵적인 관계를 강화한다.
• 질문 토큰과 이미지 영역 간의 초기 특징 상호작용 메커니즘으로 이중 주의 맵을 사용하여 그래프 모듈의 입력을 형성한다.
• 이미지-그래프와 질문-그래프를 스택형태로 다수의 레이어에 걸쳐 적용하여 깊이 있는 추론과 레이어 간의 점진적 표현 정련을 가능하게 한다.
• BERT와 같은 사전 훈련된 언어 모델을 통합하여 질문 인코딩을 더욱 향상시키고 복잡한 언어적 추론 성능을 향상시킨다.
• 정답 예측을 위한 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 그래프 레이어를 통해 동적 주의와 맥락 전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 기반 메시지 전달이 표준 이중 주의 메커니즘을 초월하여 시각질의 질문 답변에서 추론 능력을 향상시키는가?
• RQ2 이미지-그래프와 질문-그래프 구성 요소가 시각적 객체와 질문 단어 간의 복잡한 관계를 어떻게 모델링하는가?
• RQ3 다중 레이어 그래프 네트워크가 다단계 추론이 필요한 장문의 복합 질문에서 성능 향상에 얼마나 기여하는가?
• RQ4 BERT와 같은 사전 훈련된 언어 모델을 통합하면 이중 그래프 네트워크의 추론 능력이 더욱 향상되는가?
• RQ5 제안된 그래프 아키텍처가 이미지 내에서 거리가 먼 또는 겹치는 객체들 간의 암묵적 관계를 효과적으로 포착할 수 있는가?

주요 결과

• VQA v2.0 검증 세트에서 단일 레이어 BGNs 모델은 이중 주의 네트워크(BAN)보다 0.62% 높은 정확도를 기록하며, 더 깊은 모델은 복잡한 질문에서 1.4% 향상된 성능을 보였다.
• BERT 통합으로 추가로 1.5%의 정확도 향상이 이루어져, 사전 훈련된 언어 모델과 그래프 기반 추론 간의 상호보완성이 입증되었다.
• VQA v2.0 test-std 세트에서 최고의 단일 모델(BGNs+BERT)은 72.41%의 최신 기술 수준 정확도를 달성하여, MCAN, MLIN, DFAF와 같은 이전 방법들을 모두 능가했다.
• 제거 실험 결과 질문-그래프가 공간적, 세는, 관계 기반 질문에서 추론 능력을 크게 향상시키는 것으로 확인되었으며, 예를 들어 가장자리에 있는 물체를 식별하거나 유사한 항목을 세는 데 효과적이다.
• 정성 분석 결과 모델은 그래프 레이어 간에 점차적으로 예측을 정교화하며, 예를 들어 깊은 레이어에서야 말로 '사과'가 왼쪽 가장자리에 있는 것을 정확히 식별하는 것으로 나타났다. 이는 효과적인 다단계 추론을 가능하게 한다.
• 모델은 매우 겹치는 객체들(예: 두 마리의 양)이나 추상적 시나리오(예: 올림픽을 나타내는 다섯 개의 원)를 효과적으로 구분하여, 복잡한 시각적 맥락에서도 강건함을 입증했다.