[논문 리뷰] Interpretable Visual Question Answering by Reasoning on Dependency Trees

Qingxing Cao, Bailin Li외 2명|arXiv (Cornell University)|2018. 09. 06.

Multimodal Machine Learning Applications참고 문헌 46인용 수 8

한 줄 요약

이 논문은 질문에서 파arsed된 의존성 트리에 기반한 글로벌 추론을 수행함으로써 해석 가능한 시각질문응답(VQA)을 위한 파싱 트리 유도 추론 네트워크(PTGRN)를 제안한다. 모델은 주어진 이미지에서 시각적 증거를 국소화하기 위해 어텐션 모듈을 사용하고, 자식 노드의 특징을 통합하기 위해 게이트드 잔여 구성 모듈을 활용하며, 의존성 간선을 따라 정보를 전파하기 위해 파싱 트리 유도 전파 모듈을 적용하여, 수동으로 설정된 규칙나 참조 프로그램 레이아웃에 의존하지 않고도 최신 기술 수준의 VQA 성능과 높은 해석 가능성 달성.

ABSTRACT

Collaborative reasoning for understanding image-question pairs is a very critical but underexplored topic in interpretable visual question answering systems. Although very recent studies have attempted to use explicit compositional processes to assemble multiple subtasks embedded in questions, their models heavily rely on annotations or handcrafted rules to obtain valid reasoning processes, which leads to either heavy workloads or poor performance on compositional reasoning. In this paper, to better align image and language domains in diverse and unrestricted cases, we propose a novel neural network model that performs global reasoning on a dependency tree parsed from the question; thus, our model is called a parse-tree-guided reasoning network (PTGRN). This network consists of three collaborative modules: i) an attention module that exploits the local visual evidence of each word parsed from the question, ii) a gated residual composition module that composes the previously mined evidence, and iii) a parse-tree-guided propagation module that passes the mined evidence along the parse tree. Thus, PTGRN is capable of building an interpretable visual question answering (VQA) system that gradually derives image cues following question-driven parse-tree reasoning. Experiments on relational datasets demonstrate the superiority of PTGRN over current state-of-the-art VQA methods, and the visualization results highlight the explainable capability of our reasoning system.

연구 동기 및 목표

• 기존 VQA 모델이 블랙박스 방식으로 작동함으로써 해석 가능성에 빈도를 보이는 문제를 해결하기 위해.
• 이전 방법들이 구성적 추론을 위해 비용이 많이 드는 애너테이션이나 수동으로 설정된 규칙에 의존하는 한계를 극복하기 위해.
• 도메인 특화 지식 없이 다양한 개방형 질문에 대해 추론이 가능한 일반 목적의 VQA 프레임워크를 개발하기 위해.
• 의존성 파싱 트리에 대해 글로벌이고 구조적인 추론을 수행하여 VQA에서의 관계 추론 능력을 향상시키기 위해.
• 모델의 해석 가능성 향상을 위해 지도 학습 없이도 지도 기반 바운딩 박스와 정확하게 일치하는 어텐션 맵 정확도를 높이기 위해.

제안 방법

• 모델은 입력 질문에서 파생된 파싱 트리를 생성하기 위해 사전에 준비된 의존성 파서를 사용한다.
• 어텐션 모듈은 자식 노드의 어텐션 맵과 단어 임베딩을 이미지 특징과 융합함으로써 국소적인 시각적 증거를 추출한다.
• 게이트드 잔여 구성 모듈은 학습 가능한 게이트를 사용해 자식 노드의 특징을 통합함으로써 현재 노드의 표현을 갱신한다.
• 파싱 트리 유도 전파 모듈은 의존성 관계 유형(예: 절적 서술어 또는 수식어)에 따라 은닉 상태와 어텐션 맵을 부모 노드로 전달한다.
• 네트워크는 파싱 트리의 상향식 순서로 노드를 처리함으로써 순차적이고 구조적인 추론을 가능하게 한다.
• 프레임워크는 참조 프로그램 레이아웃이나 애너테이션된 추론 경로가 필요 없이 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 참조 추론 프로그램의 애너테이션에 의존하지 않고 의존성 트리에서 구조적인 추론을 수행함으로써 VQA 모델이 높은 해석 가능성을 달성할 수 있는가?
• RQ2 제안된 PTGRN 모델은 최신 기술 수준의 방법들과 비교해 관계 추론 과제에서 어떻게 성능을 내는가?
• RQ3 모델의 성능이 의존성 파싱 단계의 정확도에 얼마나 의존하는가?
• RQ4 추론 경로에 대한 지도 학습 없이도 모델이 지도 기반 객체 위치와 높은 어텐션 맵 일치도를 달성할 수 있는가?
• RQ5 도메인 특화 규칙 설계 없이도 다양한 개방형 질문 유형에 대해 모델이 일반화 가능한가?

주요 결과

• 지침 프로그램 레이아웃을 사용할 경우 PTGRN은 CLEVR 검증 세트에서 91.85%의 정확도를 달성하여 이전 방법들을 능가한다.
• 지침 프로그램 레이아웃 없이도 PTGRN는 CLEVR 검증 세트에서 어텐션 맵 정확도 64.71%를 기록하였으며, MAC 대비 31.99% 향상된 성능이다.
• 의존성 트리가 왜곡되었을 경우 모델의 성능이 크게 떨어지는데, 관계의 70%가 무작위로 변경되었을 때 정확도가 95.42%에서 40.11%로 감소함으로써 파싱 품질에 강하게 의존함을 시사한다.
• 시각화 결과에 따르면 PTGRN은 청색 물체와 같은 다수의 객체를 정확히 식별하고, 먼 이미지 영역 간의 복잡한 관계(예: '보다 많음')를 추적함을 확인할 수 있다.
• 게이트드 잔여 구성 모듈은 자식 노드 간의 특징 통합을 효과적으로 수행하여 복잡한 질문에 대한 추론 능력을 향상시킨다.
• 파싱 트리 유도 전파 모듈은 간선 특화 정보를 부모 노드로 성공적으로 전달하여 문법적 구조에 기반한 맥락 인식 추론을 가능하게 한다.