[논문 리뷰] Scene Graph Reasoning with Prior Visual Relationship for Visual Question Answering

Zhuoqian Yang, Zengchang Qin외 2명|arXiv (Cornell University)|2018. 12. 23.

Multimodal Machine Learning Applications참고 문헌 57인용 수 26

한 줄 요약

이 논문은 사전에 학습된 시각적 관계 표현을 활용하여 관계 추론 능력을 향상시키는 시나리오 그래프 기반의 시각질문응답 모델인 SceneGCN을 제안한다. 객체와 관계를 깊이 있는 의미 공간에 인코딩하고, 질문에 따라 가중치를 조정하는 그래프 컨volution 신경망을 사용함으로써, GQA 벤치마크에서 최고 성능인 54.56%의 정확도를 달성하며, 기존 방법에 비해 향상된 추론 능력과 해석 가능성 확보를 입증한다.

ABSTRACT

One of the key issues of Visual Question Answering (VQA) is to reason with semantic clues in the visual content under the guidance of the question, how to model relational semantics still remains as a great challenge. To fully capture visual semantics, we propose to reason over a structured visual representation - scene graph, with embedded objects and inter-object relationships. This shows great benefit over vanilla vector representations and implicit visual relationship learning. Based on existing visual relationship models, we propose a visual relationship encoder that projects visual relationships into a learned deep semantic space constrained by visual context and language priors. Upon the constructed graph, we propose a Scene Graph Convolutional Network (SceneGCN) to jointly reason the object properties and relational semantics for the correct answer. We demonstrate the model's effectiveness and interpretability on the challenging GQA dataset and the classical VQA 2.0 dataset, remarkably achieving state-of-the-art 54.56% accuracy on GQA compared to the existing best model.

연구 동기 및 목표

• 개별 객체를 초월한 시각적 관계를 명시적으로 모델링하여 시각질문응답 성능 향상.
• 기존 VQA 모델에서 관찰되는 암묵적 또는 약한 지도 학습 기반의 관계 추론 한계 해결.
• 사전에 학습된 시각적 관계 검출 모델의 지식을 구조화된 시나리오 그래프에 통합하여 더 나은 추론 수행.
• 차차적으로 관련 관계와 객체를 식별하는 가능한, 미분 가능한 해석 가능한 추론 메커니즘 개발.

제안 방법

• 모델은 사전에 학습된 객체 검출기와 시각적 관계 인코더를 사용하여 문맥 및 언어 제약 조건을 만족하는 관계 임베딩을 생성함으로써 시나리오 그래프를 구성한다.
• 시나리오 그래프 컨볼루션 네트워크(ScenarioGCN)는 시나리오 그래프 상에서 메시지 전파를 수행하며, 객체 및 관계 특징을 모두 사용하여 노드 표현을 업데이트한다.
• 시나리오 그래프 컨볼루션 유닛은 질문-관계 유도 자기주의 어텐션을 통해 질문에 대한 관련성이 높은 관계에 대해 동적으로 가중치를 조정한다.
• 질문 유도 객체 어텐션 유닛은 관계 인식 표현에 주의를 기울여 가장 관련성이 높은 객체를 식별함으로써 점진적 추론을 가능하게 한다.
• 시각적 관계 인코더는 시각적 문맥과 언어 사전 지식을 모두 활용하여 유형 인식 가능하고 구분력 있는 관계 임베딩을 생성하도록 훈련된다.
• 전체 모델는 엔드 투 엔드로 훈련 가능하며, 어텐션 메커니즘을 통해 국소화된 추론 추적을 제공함으로써 해석 가능성 확보.

실험 결과

연구 질문

• RQ1 사전에 학습된 시각적 관계 표현이 시각질문응답의 추론 성능 향상에 기여할 수 있는가?
• RQ2 시각적 관계는 신경망에 효과적으로 어떻게 인코딩되고 통합될 수 있는가?
• RQ3 어텐션 메커니즘을 갖춘 그래프 기반 아키텍처가 시나리오 그래프 상에서 점진적이고 해석 가능한 추론을 가능하게 하는가?
• RQ4 구조화된 관계 지식을 통합함으로써 복합적 VQA 벤치마크에서 더 나은 일반화 및 정확도를 달성할 수 있는가?

주요 결과

• 제안된 SceneGCN 모델은 도전적인 GQA 데이터셋에서 최고 성능인 54.56%의 top-1 정확도를 달성한다.
• 제거 실험 결과, 사전에 학습된 시각적 관계 표현을 통합한 모델이 이러한 사전 지식이 없는 모델에 비해 추론 성능 향상이 뚜렷하게 확인된다.
• 모델는 높은 해석 가능성 확보를 위해 어텐션 맵이 질문에 기반해 관련 관계와 객체를 명확히 국소화함을 보여준다.
• 정성적 결과는 모델가 점진적 추론을 수행함을 보여주며, 먼저 핵심 관계를 식별한 후, 답변 예측을 위한 핵심 객체에 집중함을 확인할 수 있다.
• 질문 유도 객체 어텐션 메커니즘은 관계 기반 추론 체인에서 'beef'와 같은 가장 관련성이 높은 객체를 성공적으로 강조한다.
• 시각적 관계 인코더는 추론 성능 향상을 뒷받침하는 구분력 있는, 유형 인식 가능한 임베딩을 생성하며, 어텐션 시각화 및 제거 실험을 통해 검증되었다.