[논문 리뷰] Joint Visual Grounding with Language Scene Graphs

Daqing Liu, Hanwang Zhang외 3명|arXiv (Cornell University)|2019. 06. 09.

Multimodal Machine Learning Applications참고 문헌 54인용 수 7

한 줄 요약

이 논문은 언어적 장면 그래프와 신뢰도 전파를 통한 요소 그래프의 주변 확률 계산을 활용하여 언어적 참조 표현 내 참조 대상과 맥락적 객체를 동시에 기반으로 하는 새로운 프레임워크인 공동 시각 기반 언어 장면 그래프(JVGN)를 제안한다. 이 방법은 여러 벤치마크에서 최고 성능을 달성하면서도 객체, 속성, 관계를 함께 모델링하여 해석 가능하고 구성적인 추론을 가능하게 한다.

ABSTRACT

Visual grounding is a task to ground referring expressions in images, e.g., localize "the white truck in front of the yellow one". To resolve this task fundamentally, the model should first find out the contextual objects (e.g., the "yellow" truck) and then exploit them to disambiguate the referent from other similar objects by using the attributes and relationships (e.g., "white", "yellow", "in front of"). However, due to the lack of annotations on contextual objects and their relationships, existing methods degenerate the above joint grounding process into a holistic association between the expression and regions, thus suffering from unsatisfactory performance and limited interpretability. In this paper, we alleviate the missing-annotation problem and enable the joint reasoning by leveraging the language scene graph which covers both labeled referent and unlabeled contexts (other objects, attributes, and relationships). Specifically, the language scene graph is a graphical representation where the nodes are objects with attributes and the edges are relationships. We construct a factor graph based on it and then perform marginalization over the graph, such that we can ground both referent and contexts on corresponding image regions to achieve the joint visual grounding (JVG). Experimental results demonstrate that the proposed approach is effective and interpretable, e.g., on three benchmarks, it outperforms the state-of-the-art methods while offers a complete grounding of all the objects mentioned in the referring expression.

연구 동기 및 목표

• 기존의 시각 기반 방법이 문장과 이미지 영역 간의 통합적 연관성으로서 기반을 다루며 맥락적 객체와 관계를 忽略하는 한계를 해결하기 위해.
• 구조화된 언어적 구성성을 활용하여 참조 표현에 언급된 모든 객체—참조 대상과 맥락적 실체—를 공동으로 추론할 수 있도록 하기 위해.
• 맥락적 객체에 대한 레이블이 누락된 문제를 언어 장면 그래프에서 구축한 요소 그래프에 대한 주변 확률 계산을 통해 해결하기 위해.
• 그래픽 구조 내에서 객체 속성과 관계를 명시적으로 모델링하여 모델의 설명 가능성과 일반화 능력을 향상시키기 위해.
• 표준 벤치마크에서 최고 성능을 달성하면서도 표현 내 모든 실체에 대한 완전한 기반을 제공하기 위해.

제안 방법

• 사전에 구축된 파서를 사용하여 참조 표현에서 언어 장면 그래프를 생성하며, 노드는 속성이 있는 객체를, 간선은 관계를 나타낸다.
• 언어 장면 그래프를 기반으로 요소 그래프를 구축하며, 이미지 영역를 노드의 잠재적 레이블로 사용하고, 조건부 랜덤 필드(CRF)를 사용하여 시각-언어 연관성을 모델링한다.
• 학습된 시각-언어 임베딩과 특징 연결을 사용하여 단항 및 이항 잠재확률를 정의하며, 점수는 다층 퍼셉트론을 통해 계산한다.
• 모든 노드에 대한 주변 확률을 계산하기 위해 요소 그래프 상에서 합-곱 신뢰도 전파를 적용하여 참조 대상 및 맥락 객체 간의 공동 추론을 가능하게 한다.
• 참조 노드에 대한 진짜값과 KL 발산 손실을 사용하여 모델을 훈련시키며, 체인 규칙을 통해 전체 그래프를 거쳐 기울기를 역전파한다.
• 메시지 전파를 활용하여 레이블이 없는 맥락적 노드에 대한 주변 확률을 계산하여, 전체 레이블이 없는 상태에서도 참조 대상과 맥락을 공동으로 추론할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 참조 대상만 레이블이 주어진 경우, 구조화된 언어적 구성성을 활용하여 공동 시각 기반을 효과적으로 달성할 수 있는가?
• RQ2 언어 장면 그래프를 기반으로 한 그래픽 모델이 시각 기반의 설명 가능성과 성능 향상에 어떻게 기여하는가?
• RQ3 레이블가 없는 맥락적 노드에 대한 주변 확률 계산이 기반 정확도와 추론의 정밀도를 어느 정도 향상시키는가?
• RQ4 시각-언어 잠재확률를 갖는 요소 그래프가 참조 표현 내 여러 실체 간의 공동 추론을 가능하게 하는가?
• RQ5 제안된 방법이 통합 기반 모델에 비해 더 나은 일반화 성능을 보이는가?

주요 결과

• 제안된 JVGN 모델은 RefCOCO, RefCOCO+, RefCOCOg의 세 가지 주요 벤치마크에서 최고 성능을 달성하며 기존 방법들을 능가한다.
• RefCOCOg 테스트 세트에서 JVGN은 72.47%의 top-1 정확도와 63.68%의 top-5 정확도를 기록하여 DGA 및 VC와 같은 기존 방법들을 초월한다.
• 모델은 참조 표현에 언급된 모든 실체—참조 대상과 맥락적 객체—에 대해 완전한 기반을 제공하여 설명 가능성을 향상시킨다.
• 정성적 결과에서는 신뢰도 전파가 초기 단항 잠재확률을 효과적으로 개선하여 장면 그래프 내 모든 노드에서 더 정확하고 일관된 기반을 이끌어낸다.
• 실패 사례 분석을 통해 모델은 모호하거나 희귀한 속성과 관계에서는 어려움을 겪는 것으로 나타나 희귀 실체 인식 향상 여지가 있음을 시사한다.
• 제거 실험 결과는 주변 확률 계산과 메시지 전파가 공동 추론에 핵심적임을 확인하며, 이를 제거할 경우 성능이 크게 떨어진다.