[논문 리뷰] Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering

Zihao Zhu, Jing Yu외 4명|arXiv (Cornell University)|2020. 06. 16.

Multimodal Machine Learning Applications참고 문헌 31인용 수 20

한 줄 요약

Mucko는 시각적, 의미적, 사실 기반 모odalities를 통합하기 위해 모달리티 인식 그래프 컨볼루션 네트워크를 사용하는 다층 이종 그래프 네트워크를 제안한다. 질문에 관련된 증거를 주의 메커니즘과 반복적 추론을 통해 적응적으로 선택함으로써 Visual7W+KB에서 68.88%의 top-1 정확도와 OK-VQA에서 29.20%의 총 정확도를 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

Fact-based Visual Question Answering (FVQA) requires external knowledge beyond visible content to answer questions about an image, which is challenging but indispensable to achieve general VQA. One limitation of existing FVQA solutions is that they jointly embed all kinds of information without fine-grained selection, which introduces unexpected noises for reasoning the final answer. How to capture the question-oriented and information-complementary evidence remains a key challenge to solve the problem. In this paper, we depict an image by a multi-modal heterogeneous graph, which contains multiple layers of information corresponding to the visual, semantic and factual features. On top of the multi-layer graph representations, we propose a modality-aware heterogeneous graph convolutional network to capture evidence from different layers that is most relevant to the given question. Specifically, the intra-modal graph convolution selects evidence from each modality and cross-modal graph convolution aggregates relevant information across different modalities. By stacking this process multiple times, our model performs iterative reasoning and predicts the optimal answer by analyzing all question-oriented evidence. We achieve a new state-of-the-art performance on the FVQA task and demonstrate the effectiveness and interpretability of our model with extensive experiments.

연구 동기 및 목표

• 이미지에 포함된 내용을 초월한 외부 지식이 필요한 사실 기반 시각질문응답(FVQA) 문제에 대응한다.
• 기존 FVQA 모델들이 시각적, 의미적, 사실 기반 정보를 동일하게 취급하여 질문 중심의 세밀한 증거 선택이 부족해 노이즈가 발생하는 문제를 해결한다.
• 이미지를 다층 이종 그래프로 모델링하여 시각적, 의미적, 사실 기반 모달리티 간의 보완적인 증거를 포괄하는 통합 프레임워크를 개발한다.
• 주의 메커니즘과 게이트 시각화를 통해 어떤 모달리티와 엔터티가 최종 답변에 가장 기여하는지 식별함으로써 해석 가능한 추론을 가능하게 한다.
• 구조화된 다모달 그래프에서 반복적이고 다모달 간의 추론을 활용하여 Visual7W+KB 및 OK-VQA와 같은 벤치마크 FVQA 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이미지를 세 가지 고유한 레이어로 구성된 다층 이종 그래프로 표현한다: 시각적 레이어(객체의 외관과 관계), 의미적 레이어(고수준 추상화), 사실 레이어(ConceptNet에서 유래한 지식 기반 삼중항).
• 각 모달리티 레이어 내에서 질문과 관련된 특징을 추출하기 위해 모달리티 인식 이종 그래프 컨볼루션 네트워크(HGNN)를 적용한다.
• 질문 임bedding에 따라 안내되는 다모달 간 그래프 컨볼루션을 통해 시각적, 의미적, 사실 레이어 간 보완적인 증거를 통합한다.
• 각 컨볼루션 레이어에 학습 가능한 주의 메커니즘을 통합하여 주어진 질문에 가장 관련성이 높은 증거를 동적으로 선택한다.
• 다중 레이어의 모달리티 인식 HGNN을 스택하여 다단계의 반복적 추론을 수행하고, 여러 스텝에 걸쳐 특징 표현을 정교화한다.
• 게이트 메커니즘과 주의 가중치를 활용하여 어떤 모달리티와 엔터티가 예측에 가장 기여하는지 시각화함으로써 모델의 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적, 의미적, 사실 기반 지식을 구조화된 다모달 표현 방식으로 효과적으로 통합할 수 있는가?
• RQ2 모달리티 인식 그래프 컨볼루션 네트워크를 통해 다양한 모달리티 간의 질문 관련 증거에만 집중함으로써 사실 기반 VQA의 추론 성능을 향상시킬 수 있는가?
• RQ3 단일 패assing 또는 통합 임베딩 접근 방식에 비해 반복적이고 다층 다모달 간 추론이 정답 정확도 향상에 얼마나 기여하는가?
• RQ4 모달리티 간 주의 가중치와 게이트 값의 시각화를 통해 모델의 추론 과정을 해석 가능하게 만들 수 있는가?
• RQ5 제안된 다층 이종 그래프 프레임워크가 개방형 도메인, 지식 집약적인 VQA 벤치마크에서 기존 최신 기술 수준의 모델을 초월할 수 있는가?

주요 결과

• Mucko는 Visual7W+KB 데이터셋에서 68.88%의 top-1 정확도와 85.13%의 top-3 정확도를 기록하여 기존의 모든 모델(집합 모델 포함)을 뛰어넘는 새로운 최신 기술 수준의 성능을 달성한다.
• 도전적인 OK-VQA 벤치마크에서 Mucko는 총 정확도 29.20%와 top-1 정확도 30.66%를 기록하여 비교 모델들, 즉 최신 기술 수준의 VQA 모델(BAN 및 MUTAN)과 지식 증강 집합 모델을 모두 압도한다.
• 단일 모델이지만 앙상블 기반의 KDMN-Ensemble 모델보다 Visual7W+KB에서 성능이 뛰어나 보다 뛰어난 일반화 능력과 효율성을 입증한다.
• 제거 실험을 통해 내모달리티 및 다모달리티 추론 구성 요소가 모두 필수적임을 확인하였으며, 모달리티 인식 주의 메커니즘이 성능 향상에 뚜렷한 기여를 한다.
• 주의 가중치와 게이트 값의 시각화 결과는 모델이 예측에 대해 모달리티 특화된 기여를 명확히 드러내며, 모델의 해석 가능성을 입증한다.
• 다층 이종 그래프 표현 방식은 시각적, 의미적, 사실 기반 모달리티 간의 보완적인 증거를 효과적으로 포착하여 개방형 지식 기반 추론에 강력한 성능을 발휘한다.