[논문 리뷰] Out of the Box: Reasoning with Graph Convolution Nets for Factual Visual Question Answering

Medhini Narasimhan, Svetlana Lazebnik외 1명|arXiv (Cornell University)|2018. 11. 01.

Multimodal Machine Learning Applications인용 수 130

한 줄 요약

본 논문은 FVQA 질문에 답하기 위해 사실의 하위 그래프를 추론하는 그래프 컨볼루션 네트워크(GCN) 접근법을 도입하여, 단일 정답 사실을 예측하기보다 여러 사실을 공동으로 평가함으로써 FVQA의 현재 최첨단보다 약 7% 높은 정확도를 달성한다.

ABSTRACT

Accurately answering a question about a given image requires combining observations with general knowledge. While this is effortless for humans, reasoning with general knowledge remains an algorithmic challenge. To advance research in this direction a novel `fact-based' visual question answering (FVQA) task has been introduced recently along with a large set of curated facts which link two entities, i.e., two possible answers, via a relation. Given a question-image pair, deep network techniques have been employed to successively reduce the large set of facts until one of the two entities of the final remaining fact is predicted as the answer. We observe that a successive process which considers one fact at a time to form a local decision is sub-optimal. Instead, we develop an entity graph and use a graph convolutional network to `reason' about the correct answer by jointly considering all entities. We show on the challenging FVQA dataset that this leads to an improvement in accuracy of around 7% compared to the state of the art.

연구 동기 및 목표

• 이미지 하나만으로는 설명할 수 없는 외부 지식을 활용하여 FVQA를 동기부여하고 해결한다.
• 다수의 후보 사실에 대해 공동으로 추론함으로써 하나의 정답 사실에 대한 의존성을 줄인다.
• 지식 베이스의 그래프 구조를 활용하여 정보를 공유하고 해석 가능성을 높인다.

제안 방법

• 주어진 이미지-질의 쌍에 대해 GloVe 기반 단어 유사도를 사용하여 상위 100개 관련 사실을 검색한다.
• 회수된 사실들을 필터링하기 위해 가능한 관계를 예측하여 더 작은 하위 그래프로 좁힌다.
• 필터링된 사실들에서 고유 엔티티를 노드로 하고 같은 사실에 등장하는 엔티티를 연결하는 간선으로 구성된 엔티티 그래프를 구축한다.
• GCN을 적용하여 엔티티 그래프 전반에 걸쳐 정보를 전파한 뒤, 예측을 위한 MLP를 통해 정답 엔티티를 예측한다.
• 답변 구성 요소의 엔드-투-엔드 학습은 GCN과 MLP 구성 요소를 사용하여 가능하도록 관계 예측기와 답변 예측기를 분리하여 학습한다.

실험 결과

연구 질문

• RQ1 GCN을 통한 후보 사실 세트에 대한 공동 추론이 단일 정답 사실을 예측하는 것과 비교해 FVQA 응답 정확도를 향상시킬 수 있는가?
• RQ2 그래프 노드에서 시각 개념, 질의 임베딩, 엔티티 임베딩을 통합하는 것이 답변 정확도를 얼마나 향상시키는가?
• RQ3 후보 사실의 검색 크기와 예측된 관계가 전반적인 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 FVQA 데이터셋에서 베이스라인(FVQA, STTF)보다 약 7% 향상된 성능을 보인다.
• 가장 좋은 구성은 FVQA에서 Top-1 정확도 72.97% 및 Top-3 정확도 83.01%(모델 13)를 달성한다.
• 노드 표현에 시각 개념 특징을 포함시키면 정확도가 상당히 상승한다(약 20% 상대 이득).
• GCN 기반의 공동 추론은 후보 사실들 간 정보 공유를 가능하게 하여 해석 가능성 및 동의어·동음이의어에 대한 견고성을 향상시킨다.
• 정답 사실은 예측 도중에 피하고, 모델은 여러 관련 사실들에 걸쳐 추론하여 최종 답을 도출한다.