[논문 리뷰] Using Syntax to Ground Referring Expressions in Natural Images

Volkan Cirik, Taylor Berg-Kirkpatrick외 1명|arXiv (Cornell University)|2018. 05. 26.

Multimodal Machine Learning Applications인용 수 35

한 줄 요약

GroundNet는 문법 분석 트리를 사용하여 참조 표현을 이미지에 정렬하기 위한 동적 계산 그래프를 구성하는 문법 기반 신경망이다. 문법 구성요소를 신경 모듈에 매핑함으로써 대상 객체와 지원 객체의 국소화를 향상시키며, 지원 객체 검출에서 최신 기술 수준의 성능을 달성하면서도 대상 객체 국소화 정확도를 유지함으로써 모델의 해석 가능성도 향상시킨다.

ABSTRACT

We introduce GroundNet, a neural network for referring expression recognition -- the task of localizing (or grounding) in an image the object referred to by a natural language expression. Our approach to this task is the first to rely on a syntactic analysis of the input referring expression in order to inform the structure of the computation graph. Given a parse tree for an input expression, we explicitly map the syntactic constituents and relationships present in the tree to a composed graph of neural modules that defines our architecture for performing localization. This syntax-based approach aids localization of extit{both} the target object and auxiliary supporting objects mentioned in the expression. As a result, GroundNet is more interpretable than previous methods: we can (1) determine which phrase of the referring expression points to which object in the image and (2) track how the localization of the target object is determined by the network. We study this property empirically by introducing a new set of annotations on the GoogleRef dataset to evaluate localization of supporting objects. Our experiments show that GroundNet achieves state-of-the-art accuracy in identifying supporting objects, while maintaining comparable performance in the localization of target objects.

연구 동기 및 목표

• 자연어 표현 내의 문법적 구조를 활용하여 참조 표현 정렬의 해석 가능성 향상.
• 이전 모델이 해석에 중요한 지원 객체를 국소화하지 못하는 한계를 해결.
• 참조 표현의 재귀적이고 조합적인 성격을 반영하는 동적 신경 아키텍처 개발.
• 중간 국소화 결정 평가를 가능하게 하기 위해 지원 객체를 위한 새로운 애너테이션 체계 도입.
• 문법적 조합성이 시각-언어 정렬에서 해석 가능성과 성능 향상에 기여함을 입증.

제안 방법

• 모델는 참조 표현의 문법 분석 트리에 기반하여 동적 계산 그래프를 구성하며, 각 문법 구성요소를 신경 모듈에 매핑한다.
• 계산 그래프의 각 노드는 이미지 내 객체를 국소화하는 신경 모듈에 해당하며, 국소화 및 관계 추론 등의 연산을 수행한다.
• 모델는 하향식으로 처리하여 명사구와 국소 부사어구에서 시작해 전체 표현으로 확장한다.
• 명사구(NP)와 국소 부사어구(PP)와 같은 문법 구성요소는 객체 및 그들의 공간적 관계를 탐지하는 모듈에 명시적으로 매핑된다.
• 아키텍처는 해석 가능하다: 각 모듈의 출력은 언어적 구성요소에 따라 추적 가능하다.
• 모델는 지원 객체의 참조 상자 정보 없이도 대상 객체 애너테이션만으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 문법적 조합성이 참조 표현 정렬에서 지원 객체의 국소화를 향상시킬 수 있는가?
• RQ2 문법 기반 신경 아키텍처는 언어 구성요소에 대한 추적 가능한 추론을 가능하게 하여 모델의 해석 가능성을 향상시키는가?
• RQ3 분석 트리에 기반한 동적 계산 그래프가 복잡하고 재귀적인 참조 표현의 정렬에서 고정 구조 모델을 능가할 수 있는가?
• RQ4 참조 표현 모델에서 정확도와 해석 가능성 사이에 상충 관계가 존재하는가, 그리고 이를 문법을 통해 완화할 수 있는가?
• RQ5 현재 최신 기술 수준의 모델들이 얼마나 심각하게 지원 객체를 국소화하지 못하는가, 그리고 이는 정량적으로 측정될 수 있는가?

주요 결과

• GroundNet는 GoogleRef 데이터셋에서 지원 객체 국소화에서 최신 기술 수준의 성능을 달성하며 이전 모델을 압도한다.
• 새로운 보조 작업을 도입했음에도 불구하고, 대상 객체 국소화 정확도는 최신 기술 수준의 방법과 유사하게 유지된다.
• 새로 애너테이션된 지원 객체 위치를 활용한 실증적 평가 결과, 이전 모델이 지원 객체를 효과적으로 국소화하지 못함을 확인했다.
• 문법 기반 계산 그래프 덕분에 완전한 해석 가능성이 확보되었으며, 각 모듈의 출력은 참조 표현의 특정 어절에 대해 추적 가능하다.
• 다중 지원 객체를 포함하는 재귀적 표현, 예를 들어 '커피 머그컵에 가장 가까운 접시'를 성공적으로 정렬했다.
• 결과적으로, 문법적 조합성이 시각-언어 정렬에서 해석 가능성과 성능 향상의 핵심 요소임을 시사한다.