[논문 리뷰] Heterogeneous Graph Learning for Visual Commonsense Reasoning

Weijiang Yu, Jingwen Zhou외 3명|arXiv (Cornell University)|2019. 10. 25.

Multimodal Machine Learning Applications인용 수 18

한 줄 요약

이 논문은 시각과 언어 추론을 이중 이질적 그래프 모듈—시각에서 답변으로의 이질적 그래프(VAHG)와 질문에서 답변으로의 이질적 그래프(QAHG)—를 통합하여 해석 가능하고 의미적으로 일치하는 추론을 가능하게 하는 새로운 프레임워크인 이질적 그래프 학습(HGL)을 제안한다. 내부 및 상호 도메인 관계를 공동으로 개선하고, 전역적 맥락을 위해 맥락 기반 투표 모듈(CVM)을 통합함으로써 HGL은 최신 기술 수준의 성능을 달성하여, Q→AR에서 5.8%, Q→A에서 5%, QA→R에서 3.5%의 정확도 향상을 이룬다.

ABSTRACT

Visual commonsense reasoning task aims at leading the research field into solving cognition-level reasoning with the ability of predicting correct answers and meanwhile providing convincing reasoning paths, resulting in three sub-tasks i.e., Q->A, QA->R and Q->AR. It poses great challenges over the proper semantic alignment between vision and linguistic domains and knowledge reasoning to generate persuasive reasoning paths. Existing works either resort to a powerful end-to-end network that cannot produce interpretable reasoning paths or solely explore intra-relationship of visual objects (homogeneous graph) while ignoring the cross-domain semantic alignment among visual concepts and linguistic words. In this paper, we propose a new Heterogeneous Graph Learning (HGL) framework for seamlessly integrating the intra-graph and inter-graph reasoning in order to bridge vision and language domain. Our HGL consists of a primal vision-to-answer heterogeneous graph (VAHG) module and a dual question-to-answer heterogeneous graph (QAHG) module to interactively refine reasoning paths for semantic agreement. Moreover, our HGL integrates a contextual voting module to exploit a long-range visual context for better global reasoning. Experiments on the large-scale Visual Commonsense Reasoning benchmark demonstrate the superior performance of our proposed modules on three tasks (improving 5% accuracy on Q->A, 3.5% on QA->R, 5.8% on Q->AR)

연구 동기 및 목표

• 시각 공통의 이해 추론 작업에서 시각과 언어 간의 의미적 불일치 문제를 해결한다.
• 시각적 개념과 언어적 개념 간의 교차 도메인 관계를 忽시하는 기존의 동일한 그래프 모델의 한계를 극복한다.
• 내시각적 관계와 시각-언어 간 상호작용을 모두 모델링하여 해석 가능한 추론 경로를 가능하게 한다.
• 새로운 맥락 기반 투표 모듈(CVM)을 통해 저수준 특징에서 장거리 시각적 맥락을 수집함으로써 전역적 장면 이해를 향상시킨다.
• 세 가지 VCR 벤치마크인 Q→A, QA→R, Q→AR에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 학습된 노드 임베딩를 통해 시각적 엔티티(예: 사람, 병)와 언어적 개념(예: '倒 into') 간의 정렬을 위해 시각에서 답변으로의 이질적 그래프(VAHG)를 구축한다.
• 질문 의미와 답변 근거를 연결하여 설득력 있는 추론 경로를 생성하기 위해 질문에서 답변으로의 이질적 그래프(QAHG)를 설계한다.
• 질문 맥락과 이미지 특징에 기반하여 VAHG와 QAHG 표현을 반복적으로 개선하는 공동 추론 메커니즘을 사용한다.
• 저수준 특징에서부터 장거리 시각적 맥락을 집계하여 전역적 장면 표현을 향상시키기 위해 이질적 그래프 표현을 통합하는 맥락 기반 투표 모듈(CVM)을 통합한다.
• 진화된 이질적 그래프 표현을 기반으로 최종 답변 예측을 라우팅하기 위한 가이던스 메커니즘을 적용한다.
• 신뢰도 가중 주의를 활용하여 노드 상관관계를 학습하고 추론 과정에서 그래프 구조를 동적으로 진화시킨다.

실험 결과

연구 질문

• RQ1 이질적 그래프 학습 프레임워크는 시각 공통의 이해에서 시각과 언어 간의 의미 격차를 효과적으로 해소할 수 있는가?
• RQ2 시각에서 답변으로의 상호 도메인 관계(예: 시각-답변)를 통합할 경우, 동일한 그래프 모델에 비해 추론 경로의 해석 가능성과 정확도는 어떻게 향상되는가?
• RQ3 내시각적 관계와 교차 모odal 관계를 모두 모델링할 경우, Q→A, QA→R, Q→AR 작업에서 성능 향상 정도는 어느 정도인가?
• RQ4 맥락 기반 투표 모듈(CVM)은 국소적 객체 특징을 초월하여 장거리 시각적 맥락을 포착함으로써 추론 성능을 향상시킬 수 있는가?
• RQ5 VAHG, QAHG, CVM 각각이 시각 추론에서 전체 성능 향상에 기여하는 개별 기여도는 얼마인가?

주요 결과

• HGL은 VCR 벤치마크에서 최신 기술 수준의 성능을 달성하여, 이전 방법에 비해 Q→AR 작업에서 정확도를 5.8% 향상시키고, Q→A에서 5%, QA→R에서 3.5% 향상시켰다.
• 맥락 기반 투표 모듈(CVM)만으로도 Q→A에서 1.8%, QA→R에서 1.2%, Q→AR에서 3.1%의 성능 향상을 이룩하여 전역적 맥락 모델링의 효과를 입증했다.
• QAHG 모듈은 모든 작업에서 약 1.0%의 정확도 향상을 기여하여 질문과 답변 의미 간의 연결을 통해 설득력 있는 추론 경로 생성에 기여하는 것을 확인했다.
• VAHG 모듈은 Q→A에서 2.6%, QA→R에서 2.1%, Q→AR에서 3.3%의 정확도 향상을 기록하여 시각적 노드와 언어적 노드 간의 강력한 정렬을 보여주었다.
• 제거 실험 결과, VAHG, QAHG, CVM을 모두 조합할 경우 최고의 성능(69.4% on Q→A, 70.6% on QA→R, 49.1% on Q→AR)을 기록했으며, CVM이 제거된 HGL도 Q→AR에서 기준 모델보다 5.6% 높은 성능을 기록했다.
• 정성적 분석 결과, HGL은 '倒 into'과 같은 기능적 동작 및 '화가 나고 있다'와 같은 정서적 신호를 성공적으로 포착하여 이를 시각적 노드와 언어적 노드에 연결함으로써 일관된 추론를 가능하게 했다.