[논문 리뷰] Dynamic Graph Attention for Referring Expression Comprehension

Sibei Yang, Guanbin Li외 1명|arXiv (Cornell University)|2019. 09. 18.

Multimodal Machine Learning Applications참고 문헌 31인용 수 24

한 줄 요약

이 논문은 이미지 객체와 그 관계의 동적 그래프 위에서 다단계, 언어 유도 시각적 추론을 수행하는 새로운 방법인 동적 그래프 주의(Dynamic Graph Attention, DGA)를 제안한다. 언어적 구조를 미분 가능한 분석기로 모델링하고, 그래프 전파를 통해 복합 객체 표현을 업데이트함으로써, DGA는 세 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 복잡한 표현에 대해 해석 가능한 단계별 추론 경로를 생성한다.

ABSTRACT

Referring expression comprehension aims to locate the object instance described by a natural language referring expression in an image. This task is compositional and inherently requires visual reasoning on top of the relationships among the objects in the image. Meanwhile, the visual reasoning process is guided by the linguistic structure of the referring expression. However, existing approaches treat the objects in isolation or only explore the first-order relationships between objects without being aligned with the potential complexity of the expression. Thus it is hard for them to adapt to the grounding of complex referring expressions. In this paper, we explore the problem of referring expression comprehension from the perspective of language-driven visual reasoning, and propose a dynamic graph attention network to perform multi-step reasoning by modeling both the relationships among the objects in the image and the linguistic structure of the expression. In particular, we construct a graph for the image with the nodes and edges corresponding to the objects and their relationships respectively, propose a differential analyzer to predict a language-guided visual reasoning process, and perform stepwise reasoning on top of the graph to update the compound object representation at every node. Experimental results demonstrate that the proposed method can not only significantly surpass all existing state-of-the-art algorithms across three common benchmark datasets, but also generate interpretable visual evidences for stepwisely locating the objects referred to in complex language descriptions.

연구 동기 및 목표

• 기존의 참조 표현 이해 모델이 명시적이고 다단계의 추론 및 해석 가능성 부족이라는 한계를 해결하기 위해.
• 객체 간 시각적 관계를 통합함으로써 복잡한 참조 표현의 정렬을 향상시키기 위해.
• 통합된 프레임워크에서 언어 문법과 시각적 그래프 구조를 모두 모델링함으로써 고차원의 조합적 추론을 가능하게 하기 위해.
• 객체 정렬의 추론 과정 뒤에 있는 해석 가능한 단계별 시각적 증거를 생성하기 위해.

제안 방법

• 노드가 검출된 객체를 나타내고 간선이 객체 간 관계를 나타내는 방향성 있는 시각적 그래프를 구성한다.
• 참조 표현을 구성 표현으로 분해하여 언어적 구조를 단계별로 포착하는 미분 가능한 분석기를 도입한다.
• 각 노드에서 동적 그래프 주의를 통해 복합 객체 표현을 업데이트하면서, 그래프에서 반복적으로 언어 유도 추론을 수행한다.
• 각 추론 단계에서 단어, 노드, 관계에 대한 소프트 주의를 사용하여 관련된 언어적 및 시각적 구성 요소를 강조한다.
• 최종 객체 표현과 표현을 정렬하기 위해 매칭 손실을 사용하여 엔드 투 엔드 학습을 통해 공동 표현을 학습한다.
• 언어 유도에 기반하여 그래프를 통해 주의를 전파하는 다단계 추론 메커니즘을 구현하여 고차원 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 참조 표현의 언어적 구조에 의해 유도되는 다단계 시각적 추론을 수행할 수 있는가?
• RQ2 동적 그래프에서 객체 간 관계를 통합함으로써 복잡한 표현에 대한 정렬 정확도는 어떻게 향상되는가?
• RQ3 각 단계에서 단어, 노드, 관계에 대한 주의를 시각화함으로써 추론 과정을 해석 가능한 것으로 만들 수 있는가?
• RQ4 고정되거나 히우리스틱 기반 파싱 대비 언어적 구조 파싱을 엔드 투 엔드로 학습함으로써 성능 향상이 이루어지는가?
• RQ5 효과적이고 강건한 정렬을 위해 참조 표현 이해에서 최적의 추론 단계 수는 얼마인가?

주요 결과

• 제안된 DGA 모델은 세 벤치마크 데이터셋 전부에서 최신 기술 수준 성능을 달성한다: RefCOCO val에서 86.34%, RefCOCO testA에서 86.64%, RefCOCO testB에서 84.79%.
• RefCOCO+에서 DGA는 val에서 73.56%, testA에서 78.31%, testB에서 68.15%를 기록하여 모든 베이스라인을 초월한다.
• RefCOCOg에서 DGA는 val에서 80.21%, test에서 80.26%를 기록하여 새로운 SOTA를 수립한다.
• 절단 실험 결과, 세 단계 추론을 수행하는 DGA(3)가 가장 우수한 성능을 보이며, 네 단계는 노이즈를 유발함을 시사한다.
• 언어 파서를 포함한 모델(DGA*)은 전체 DGA보다 성능이 열 劣하므로, 엔드 투 엔드로 학습된 언어적 구조 파싱의 중요성을 입증한다.
• 정성적 결과에서는 DGA가 단어, 노드, 관계에 대해 해석 가능한 주의 맵을 생성하여 단계별로 추론 체인을 시각화함을 보여준다.