[논문 리뷰] Language-Conditioned Graph Networks for Relational Reasoning

Ronghang Hu, Anna Rohrbach외 2명|arXiv (Cornell University)|2019. 05. 10.

Multimodal Machine Learning Applications참고 문헌 43인용 수 28

한 줄 요약

이 논문은 자연어 입력에 따라 메시지 전달을 조정하는 그래프 네트워크를 기반으로 하는 언어 조건부 그래프 네트워크(LCGN)를 제안한다. LCGN는 메시지 전달을 통해 관계적 맥락을 반복적으로 집계함으로써 시각적 장면 표현을 향상시킨다. 언어적 맥락에 따라 동적으로 간선의 가중치를 설정함으로써, 관계적 맥락을 반영하는 컨텍스트 인식 객체 표현을 생성하며, 이는 시각적 질의 응답(VQA) 및 언어적 표현 이해(REF) 작업에서 성능을 크게 향상시킨다. GQA 및 CLEVR-Ref+ 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Solving grounded language tasks often requires reasoning about relationships between objects in the context of a given task. For example, to answer the question "What color is the mug on the plate?" we must check the color of the specific mug that satisfies the "on" relationship with respect to the plate. Recent work has proposed various methods capable of complex relational reasoning. However, most of their power is in the inference structure, while the scene is represented with simple local appearance features. In this paper, we take an alternate approach and build contextualized representations for objects in a visual scene to support relational reasoning. We propose a general framework of Language-Conditioned Graph Networks (LCGN), where each node represents an object, and is described by a context-aware representation from related objects through iterative message passing conditioned on the textual input. E.g., conditioning on the "on" relationship to the plate, the object "mug" gathers messages from the object "plate" to update its representation to "mug on the plate", which can be easily consumed by a simple classifier for answer prediction. We experimentally show that our LCGN approach effectively supports relational reasoning and improves performance across several tasks and datasets. Our code is available at http://ronghanghu.com/lcgn.

연구 동기 및 목표

• 기초적인 시각적 외형에 의존하는 표현 방식이 언어 기반 이해 작업에서 가지는 한계를 해결하기 위해.
• 자연어에 명시된 관계적 의존성에 반영되는 동적이고 컨텍스트 인식 객체 표현을 가능하게 하기 위해.
• 관계적 맥락을 장면 표현에 통합함으로써 작업 전용 수작업 설계된 추론 모듈에 대한 의존도를 줄이기 위해.
• 일반적이고 플러그인 방식으로 호환 가능한 프레임워크를 통해 복잡한 관계 추론 작업(VQA 및 REF)의 성능을 향상시키기 위해.
• 컨텍스트 인식 표현이 단순한 1단계 분류 기반 추론을 가능하게 하며, 복잡한 추론 아키텍처를 가진 모델보다 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 장면 내 각 객체는 그래프의 노드로 표현되며, 초기 특징은 국소적 시각적 외형에서 유도된다.
• 메시지 전달은 다중 반복 단계를 거쳐 이루어지며, 각 노드는 입력 언어에 따라 조정된 간선 가중치에 기반해 이웃 노드로부터 정보를 집계한다.
• 간선 가중치는 관계의 텍스트 기술(예: '위에', '왼쪽에', '크기가 같음')을 고려하는 게이트된 어텐션 메커니즘을 사용해 계산된다.
• 컨텍스트 인식 노드 표현은 반복적으로 업데이트되며, 입력 질의 또는 언어적 표현에 관련된 관계적 맥락을 통합한다.
• 최종 컨텍스트 인식 표현은 단순한 작업 전용 분류기(예: 1단계 어텐션)에 입력되어 답변 예측 또는 위치 특정을 수행한다.
• VQA의 경우 교차 엔트로피 손실, REF의 경우 바운딩 박스 회귀 손실을 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 그래프 네트워크 내 언어 조건부 메시지 전달이 시각 기반 작업에서의 관계 추론 성능을 향상시키는가?
• RQ2 메시지 전달을 언어적 맥락에 따라 조정하면 정적 또는 외형 중심 표현보다 성능이 향상되는가?
• RQ3 일반적이고 컨텍스트 인식 가능한 장면 표현이 VQA 및 REF 작업에서 복잡한 작업 전용 추론 모듈을 대체할 수 있는가?
• RQ4 다양한 관계 복잡도를 가진 다양한 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 고정되거나 대칭적인 메시지 전달 방식에 비해 동적으로 언어에 따라 가중치가 조정되는 간선 방식이 특징 개선에 얼마나 기여하는가?

주요 결과

• LCGN은 시각적 질의 응답(VQA) 작업에서 GQA 데이터셋에서 최신 기준 성능을 달성하며, 이전 방법들(예: Stack-NMN)을 능가한다.
• 언어적 표현 이해(REF) 작업을 위한 CLEVR-Ref+ 데이터셋에서 LCGN은 새로운 최신 기준 성능을 기록하였으며, 복잡한 공간적 및 관계적 질의에 대한 강력한 일반화 능력을 입증한다.
• 다양한 국소적 시각적 특징 유형(예: Faster R-CNN, ResNeXt)을 사용한 실험에서 성능 향상이 나타나, 컨텍스트 인식 표현의 강건성을 입증한다.
• 절단 실험 결과, 언어 조건부 메시지 전달이 핵심 요소임을 확인하였으며, 언어 조건부 요소를 제거하면 성능이 크게 하락한다.
• 메시지 전달 경로의 시각화 결과, 모델이 의도한 바와 같이 의미적으로 관련된 관계(예: '위에', '크기가 같음', '왼쪽에')를 따라 정보를 전달하는 것을 확인할 수 있다.
• 컨텍스트 인식 표현을 기반으로 한 단일 1단계 어텐션 메커니즘도 경쟁력 있는 성능을 기록하였으며, 이는 풍부한 관계적 맥락이 단순하고 효과적인 추론을 가능하게 한다는 것을 보여준다.