[논문 리뷰] Visual Query Answering by Entity-Attribute Graph Matching and Reasoning

Peixi Xiong, Huayi Zhan외 3명|arXiv (Cornell University)|2019. 03. 16.

Multimodal Machine Learning Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 이미지와 자연어 질의를 각각 엔티티-속성 그래프(GEA 및 Q)로 모델링하고, 추론 그래프(GI)를 사용해 누락된 속성을 보완함으로써 그래프 기반의 시각적 질의 응답(VQA) 방법을 제안한다. 개선된 엔티티-속성 그래프와 질의 그래프를 대응시킴으로써 해석 가능한 추론을 달성하며, 풍부한 애너테이션을 가진 새로 제작된 Soccer-VQA 데이터셋에서 최신 기술 대비 뛰어난 성능을 보였다.

ABSTRACT

Visual Query Answering (VQA) is of great significance in offering people convenience: one can raise a question for details of objects, or high-level understanding about the scene, over an image. This paper proposes a novel method to address the VQA problem. In contrast to prior works, our method that targets single scene VQA, replies on graph-based techniques and involves reasoning. In a nutshell, our approach is centered on three graphs. The first graph, referred to as inference graph GI , is constructed via learning over labeled data. The other two graphs, referred to as query graph Q and entity-attribute graph GEA, are generated from natural language query Qnl and image Img, that are issued from users, respectively. As GEA often does not take sufficient information to answer Q, we develop techniques to infer missing information of GEA with GI . Based on GEA and Q, we provide techniques to find matches of Q in GEA, as the answer of Qnl in Img. Unlike commonly used VQA methods that are based on end-to-end neural networks, our graph-based method shows well-designed reasoning capability, and thus is highly interpretable. We also create a dataset on soccer match (Soccer-VQA) with rich annotations. The experimental results show that our approach outperforms the state-of-the-art method and has high potential for future investigation.

연구 동기 및 목표

• 엔티티-속성 그래프(GEA)와 질의 그래프(Q)를 구조적으로 모델링하여 정밀한 의미 매칭을 실현한다.
• 라벨이 부여된 데이터로 학습된 추론 그래프(GI)를 사용해 불완전한 엔티티-속성 그래프를 보완하여 누락된 속성을 복구한다.
• 복합적인 시각적 질의에 답하기 위해 관련된 시각적 요소를 식별하는 그래프 매칭 기법을 개발한다.
• 평가 및未래 연구를 지원하기 위해 풍부한 애너테이션을 가진 새로운 VQA 데이터셋(Soccer-VQA)을 구축한다.

제안 방법

• 라벨이 부여된 VQA 데이터에서 추론 그래프(GI)를 구축하여 엔티티-속성 그래프(GEA)의 누락된 속성을 추론하는 데 사용되는 일반적인 속성 관계를 학습한다.
• 의존성 구문 분석과 의미 역할 표기 기법을 사용해 자연어 질문에서 엔티티와 속성을 파싱함으로써 질의 그래프(Q)를 생성한다.
• 객체 검출 및 속성 예측 모델을 사용해 이미지 특징에서 엔티티-속성 그래프(GEA)를 구축하여 시각적 엔티티와 그 성질을 포괄한다.
• GEA의 부분 그래프를 GI의 부분 그래프와 매칭시켜 GEA의 누락된 속성을 유추하기 위해 미분 가능한 그래프 매칭 기법을 사용한다.
• 그래프 매칭 모듈은 질의 그래프 Q와 개선된 GEA를 정렬하여 최적의 매칭되는 시각적 요소를 식별함으로써 답변을 도출한다.
• 전체 프레임워크는 그래프 매칭의 미분 가능한 리라크스를 사용해 엔드 투 엔드로 훈련되며, 답변 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경망 대비 그래프 기반 추론이 해석 가능성과 성능 향상에 기여하는가?
• RQ2 라벨이 부여된 데이터로 학습된 추론 그래프가 이미지에서 파생된 엔티티-속성 그래프의 누락된 속성을 얼마나 효과적으로 보완하는가?
• RQ3 질의 그래프와 개선된 엔티티-속성 그래프 간의 그래프 매칭이 복합적인 시각적 질의에서 답변 정확도를 얼마나 향상시키는가?
• RQ4 새로 제작된 풍부한 애너테이션을 가진 데이터셋(Soccer-VQA)이 더 정확하고 다양한 VQA 평가를 지원하는가?
• RQ5 제안된 방법이 실제 세계의 다양한 시각적 및 언어적 패턴에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 Soccer-VQA 데이터셋에서 최신 기술 대비 뛰어난 정확도를 보이며, 복잡한 시각적 추론 작업에서 뛰어난 성능을 입증했다.
• 추론 그래프의 사용은 특히 희귀하거나 모호한 속성에 대해 엔티티-속성 그래프의 속성 보완 능력을 크게 향상시켰다.
• 그래프 매칭 기법은 질의 의미와 시각적 증거 간 정밀한 정렬을 가능하게 하여 답변의 관련성을 향상시켰다.
• 블랙박스 신경망과 달리, 명시적으로 답변에 기여하는 시각적 엔티티와 속성을 보여줌으로써 높은 해석 가능성을 달성했다.
• 새로 제작된 Soccer-VQA 데이터셋은 복잡한 추론을 지원하고 모델의 일반화 능력을 향상시키는 풍부하고 세밀한 애너테이션을 제공한다.
• 정량적 결과는 구성적 질문 및 속성 기반 질문에서 기준 모델 대비 상당한 정확도 향상을 보였다.