[논문 리뷰] Learning Cross-modal Context Graph for Visual Grounding

Yongfei Liu, Bo Wan외 2명|arXiv (Cornell University)|2019. 11. 20.

Multimodal Machine Learning Applications참고 문헌 35인용 수 8

한 줄 요약

이 논문은 모듈러한 그래프 신경망을 통해 문장 간 및 시각적 객체 간의 전역적 맥락과 관계를 모델링하는 언어 유도형 다중모달 그래프 신경망을 제안한다. 이는 전역적으로 일관된 시각적 기반을 가능하게 한다. 언어 및 시각적 장면 그래프를 구축하고 메시지 전파를 통해 맥락 인식 표현 학습을 수행함으로써, 이 방법은 Flickr30K Entities 벤치마크에서 최신 기술 수준(SOTA) 성능인 76.19%를 달 đạt한다.

ABSTRACT

Visual grounding is a ubiquitous building block in many vision-language tasks and yet remains challenging due to large variations in visual and linguistic features of grounding entities, strong context effect and the resulting semantic ambiguities. Prior works typically focus on learning representations of individual phrases with limited context information. To address their limitations, this paper proposes a language-guided graph representation to capture the global context of grounding entities and their relations, and develop a cross-modal graph matching strategy for the multiple-phrase visual grounding task. In particular, we introduce a modular graph neural network to compute context-aware representations of phrases and object proposals respectively via message propagation, followed by a graph-based matching module to generate globally consistent localization of grounding phrases. We train the entire graph neural network jointly in a two-stage strategy and evaluate it on the Flickr30K Entities benchmark. Extensive experiments show that our method outperforms the prior state of the arts by a sizable margin, evidencing the efficacy of our grounding framework. Code is available at "https://github.com/youngfly11/LCMCG-PyTorch".

연구 동기 및 목표

• 시각적 및 언어적 특징의 변동으로 인해 높은 의미적 모호성이 존재하는 복잡한 장면에서의 시각적 기반 도전 과제 해결.
• 이전 방법들이 구문을 개별적으로 다루고 장거리 종속성과 전역 맥락을 忽시하는 한계를 극복.
• 언어 기술서의 구문 관계와 해당 시각적 객체 간 관계를 모두 모델링하여 기반 정확도 향상.
• 맥락 인식 표현과 다중 모odal 간 전역 매칭을 최적화하는 통합형 엔드 투 엔드 학습 가능한 프레임워크 개발.
• 거짓 긍정을 줄이고 매칭 효율을 향상시키기 위해 언어 맥락에 따라 선택적이고 고품질의 객체 제안 생성 가능화.

제안 방법

• 노드가 명사구를 나타내고 간선이 그들 간의 의미 관계를 표현하는 텍스트 기반 장면 그래프를 구성.
• 메시지 전파를 통해 언어 장면 그래프 전역에서 맥락 인식 표현을 전파하는 구문 그래프 네트워크(PGN) 사용.
• 구문 그래프에 의해 유도된 시각적 객체 제안 선택을 수행하며, 관련된 객체 제안을 노드로, 언어적 관계를 반영하는 간선을 갖는 시각적 장면 그래ph를 구축.
• 메시지 전파를 통해 시각적 장면 그래프에서 맥락 인식 시각적 표현을 계산하는 시각적 객체 그래프 네트워크(VOGN) 적용.
• 언어 그래프와 시각적 그래프 간의 노드 특징과 간선 관계를 비교하여 전역 매칭을 수행하는 그래프 유사도 네트워크 구현.
• 두 단계 전략을 통해 모델을 학습: 먼저 PGN과 객체 특징을 사전 학습하고, 이후 전체 네트워크를 공동으로 미세조정하여 최적의 다중모달 정렬 달성.

실험 결과

연구 질문

• RQ1 구조적 그래프를 통해 언어 기술서의 장거리 종속성을 모델링하면 시각적 기반 성능 향상에 기여하는가?
• RQ2 언어적 관계에 의해 유도된 시각적 객체 관계를 통합할 경우 기반 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 국소적, 구문 단위 매칭 대비 전역 그래프 매칭이 모호성을 줄이는 데 얼마나 효과적인가?
• RQ4 맥락 인식 프레임워크에서 정확도와 계산 비용을 균형 잡기 위해 최적의 객체 제안 수(K)는 얼마인가?
• RQ5 높은 성능 달성에 있어 구문 그래프와 시각적 그래프 양쪽에서 관계 특징이 얼마나 핵심적인가?

주요 결과

• 제안된 방법은 Flickr30K Entities 검증 세트에서 기존 최고 성능을 뛰어넘는 새로운 최신 기술 수준 성능인 76.19%의 정확도를 달성.
• 구문 그래프 네트워크(PGN)는 문장 간 장거리 의미 종속성을 포착함으로써 기반 정확도를 베이스라인 73.46%에서 74.40%로 향상.
• PGN에 의해 유도된 제안 정제는 모호한 후보를 줄이고 정확도를 1.1% 향상시켜 언어 기반 제안 선택의 가치를 입증.
• 시각적 객체 그래프 네트워크(VOGN)는 이웃 객체의 맥락 특징을 활용함으로써 객체 표현 학습을 향상시켜 정확도를 75.85%로 상승.
• 전역 그래프 매칭을 통한 구조적 예측 통합은 정확도를 76.19%로 추가로 향상시켜 국소 매칭 대비 통합 최적화의 이점을 확인.
• 제거 실험 결과, PGN과 VOGN 양쪽에서 관계 특징을 제거하면 성능이 0.41% 하락하여 관계 모델링의 중요성을 입증.