[논문 리뷰] Visual Question Reasoning on General Dependency Tree

Qingxing Cao, Xiaodan Liang외 3명|arXiv (Cornell University)|2018. 03. 31.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 질문의 일반적인 의존 구문 트리를 활용하여 해석 가능한 시각질의질의응답(VQA)를 위한 적대적 조합 모듈러 네트워크(ACMN)를 제안한다. ACMN은 수정어 관계를 위한 적대적 주의 모듈과 절어휘관계 관계를 위한 잔차 조합 모듈을 사용하여 점진적으로 주목할 만한 이미지 영역을 발견하고, 수작업 규칙이나 레이블이 없는 전역적이고 추론 인식 시각언어 정렬을 가능하게 한다. 이 모델은 관계 기반 VQA 벤치마크에서 최고 성능을 기록하며 뛰어난 해석 가능성도 확보한다.

ABSTRACT

The collaborative reasoning for understanding each image-question pair is very critical but under-explored for an interpretable Visual Question Answering (VQA) system. Although very recent works also tried the explicit compositional processes to assemble multiple sub-tasks embedded in the questions, their models heavily rely on the annotations or hand-crafted rules to obtain valid reasoning layout, leading to either heavy labor or poor performance on composition reasoning. In this paper, to enable global context reasoning for better aligning image and language domains in diverse and unrestricted cases, we propose a novel reasoning network called Adversarial Composition Modular Network (ACMN). This network comprises of two collaborative modules: i) an adversarial attention module to exploit the local visual evidence for each word parsed from the question; ii) a residual composition module to compose the previously mined evidence. Given a dependency parse tree for each question, the adversarial attention module progressively discovers salient regions of one word by densely combining regions of child word nodes in an adversarial manner. Then residual composition module merges the hidden representations of an arbitrary number of children through sum pooling and residual connection. Our ACMN is thus capable of building an interpretable VQA system that gradually dives the image cues following a question-driven reasoning route and makes global reasoning by incorporating the learned knowledge of all attention modules in a principled manner. Experiments on relational datasets demonstrate the superiority of our ACMN and visualization results show the explainable capability of our reasoning system.

연구 동기 및 목표

• 기존 VQA 모델이 블랙박스 또는 규칙 기반 추론에 의존함에 따라 해석 가능성과 일반화의 부족을 해결하기 위해.
• 수작업 레이아웃이나 수작업 규칙이 필요 없이 임의의 의존 구문 트리에 대한 전역적이고 맥락 인식 추론을 가능하게 하기 위해.
• 절어휘관계 관계와 수정어 관계라는 두 가지 핵심 의존 관계를 모델링하여 VQA의 관계 추론을 향상시키기 위해.
• 질문 기반의 단계별 시각적 증거 탐색과 특징 조합을 지원하는 모듈러이고 엔드 투 엔드로 훈련 가능한 네트워크를 개발하기 위해.

제안 방법

• 모델은 각 질문의 트리 구조적 분석을 위해 사전에 구축된 의존 구문 분석기를 사용하여 추론의 기반을 마련한다.
• 수정어 관계(예: 'grayscale object')의 경우, 적대적 주의 모듈은 자식 노드에서 이미 주목한 영역을 마스킹하고 나머지 특징에 대해 소프트 주의를 수행하여 새로운 시각적 증거를 발견한다.
• 절어휘관계 관계(예: 'is', 'has')의 경우, 잔차 조합 모듈은 자식 노드의 은닉 표현을 합 풀링과 잔차 연결을 통해 융합하여 정보 흐름을 유지한다.
• 적대적 주의 기법은 자식 노드의 주의 맵을 조합하고 그 특징을 억제하여 새로운 이미지 영역 탐색을 장려하는 소프트 마스킹 전략을 사용한다.
• 잔차 조합 모듈은 다중 자식 노드의 특징을 이원적 융합으로 통합하고, 변수 수의 자식 노드가 존재하더라도 스위치 연결을 통해 기울기 흐름을 유지한다.
• 전체 네트워크는 답변 예측과 함께 추론 경로를 시각화할 수 있는 주의 맵을 생성하도록 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 수작업 규칙이나 레이아웃 레이블에 의존하지 않고 일반적인 의존 트리에서 해석 가능한 전역 추론을 수행할 수 있는가?
• RQ2 적대적 주의 기법은 개방형 질문에서 수정어 관계에 대한 시각적 증거 탐색을 어떻게 향상시킬 수 있는가?
• RQ3 잔차 조합은 복잡한 추론에서 절어휘관계 관계의 특징 통합을 어느 정도 향상시키는가?
• RQ4 제안된 모듈러 아키텍처는 관계 기반 VQA에서 다양한 제약 없는 질문 스타일로 일반화되는가?

주요 결과

• ACMN은 Sort-of-CLEVR 데이터셋에서 최고 성능을 기록하였으며, 이중 경로 잔차 구조를 사용할 경우 정확도가 91.1%에 도달하여 잔차 학습이 변수적이고 중복된 자식 노드를 처리하는 데 효과적임을 입증한다.
• 제거 실험 결과 잔차 연결을 제거하면 정확도가 2.7% 감소함을 확인하여 조합 과정에서 정보 흐름 유지에 있어 그 핵심적 역할을 수행함을 확인한다.
• 적대적 주의 모듈은 리로케이트 모듈과 특징 연결 기반 베이스라인보다 우수한 성능을 보이며, 1.5%의 정확도 향상을 기록함으로써 미주행 영역 탐색 능력 향상 덕분이다.
• VQAv2 데이터셋에서 ACMN는 test-std에서 64.05%의 정확도, test-dev에서 63.81%의 정확도를 기록하여 앙상블 기반 또는 데이터 증강 기법 없이도 비앙상블 기반 베이스라인을 초월하고, 1위 메서드에 근접한 성능을 확보하였다.
• 시각화 결과는 ACMN가 질문 기반의 추론 경로를 따라가며, 예를 들어 'gray object'를 먼저 탐색한 후 'furthest object'를 정확히 주목하는 방식으로 단계적으로 관련 이미지 영역을 인식함을 확인하였다.