[논문 리뷰] Attentive Relational Networks for Mapping Images to Scene Graphs

Mengshi Qi, Weijian Li외 3명|arXiv (Cornell University)|2018. 11. 26.

Multimodal Machine Learning Applications참고 문헌 51인용 수 11

한 줄 요약

이 논문은 시각적 특징, 언어적 임bedding 및 그래프 자기주의를 통합하여 이미지에서 장면 그래프로의 매핑을 향상시키는 Attentive Relational Network을 제안한다. 모델은 공유된 공간에 시각적 및 텍스트적 특징을 정렬하기 위한 의미 전환 모듈과 공동 노드 표현을 학습하기 위한 그래프 자기주의 메커니즘을 사용하며, Visual Genome 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Scene graph generation refers to the task of automatically mapping an image into a semantic structural graph, which requires correctly labeling each extracted object and their interaction relationships. Despite the recent success in object detection using deep learning techniques, inferring complex contextual relationships and structured graph representations from visual data remains a challenging topic. In this study, we propose a novel Attentive Relational Network that consists of two key modules with an object detection backbone to approach this problem. The first module is a semantic transformation module utilized to capture semantic embedded relation features, by translating visual features and linguistic features into a common semantic space. The other module is a graph self-attention module introduced to embed a joint graph representation through assigning various importance weights to neighboring nodes. Finally, accurate scene graphs are produced by the relation inference module to recognize all entities and the corresponding relations. We evaluate our proposed method on the widely-adopted Visual Genome Dataset, and the results demonstrate the effectiveness and superiority of our model.

연구 동기 및 목표

• 복잡한 시각적 관계를 모델링하여 이미지에서 정확하고 구조화된 장면 그래프를 생성하는 데 도전하는 것.
• 공통된 의미 공간에 시각적 특징과 언어 지식을 공동 임bedding하여 장면 그래프 생성을 향상시키는 것.
• 엔티티와 관계의 적응형, 주의 가중치가 부여된 그래프 표현을 학습하여 전반적인 장면 구조를 포착하는 것.
• 순차적 처리 또는 고정된 그래프 구조에 의존하는 이전 방법의 한계를 극복하는 것.
• 내삼각형 관계 및 맥락적 관계를 모델링하여 관계 예측 정확도를 향상시키는 것.

제안 방법

• 의미 전환 모듈은 학습된 선형 변환과 대비 손실 함수를 사용하여 시각적 특징과 단어 임베딩을 공유된 의미 공간으로 투영한다.
• 그래프 자기주의 모듈은 이웃 노드 간의 동적이고 맥락 인식 주의 가중치를 계산하여 공동 그래프 표현을 생성한다.
• 모델은 이중 단계 파이프라인을 사용한다: 첫 번째로 객체 검출 백본이 엔티티를 식별하고, 두 번째로 다층 퍼셉트론(MLP)을 통해 관계 추론을 수행한다.
• 시각적 및 언어적 특징은 의미 공간에서 연결을 통해 융합되며, 의미 친화도를 유지하기 위해 전용 의미 손실로 최적화된다.
• 그래프 자기주의 메커니즘은 관련 노드 상호작용에 주의를 기울이며 종단 간 전반적인 장면 구조 학습을 가능하게 한다.
• 모델은 검출, 의미, 관계 예측 손실의 조합으로 Visual Genome 데이터셋에서 종단 간 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 특징과 언어적 특징을 공유된 의미 공간에 효과적으로 정렬하여 장면 그래프 생성을 향상시킬 수 있는가?
• RQ2 기존의 RNN 또는 CNN 기반 방법과 비교해 볼 때, 그래프 자기주의는 장면 그래프에 대한 공동 표현 학습에 얼마나 기여하는가?
• RQ3 통합된 주의 기반 그래프 모델링 접근 방식은 복잡한 시각적 관계를 포착하는 데 있어 단계별 또는 순차적 처리 방식을 능가할 수 있는가?
• RQ4 언어 지식을 통합함으로써 모델이 모호하거나 희귀한 시각적 관계를 해결하는 데 어떤 영향을 미치는가?
• RQ5 의미 특징 융합과 손실 함수는 장면 그래프 생성의 전체 성능에 어떤 기여를 하는가?

주요 결과

• 제안된 모델은 Visual Genome 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 노드 및 관계 예측 모두에서 기존 SOTA 방법을 능가한다.
• 제거 실험 결과, 의미 전환 모듈만으로도 이를 포함하지 않은 변형보다 뛰어난 성능을 기록하여 그 핵심적인 역할을 입증한다.
• 의미 공간에서의 연결을 통한 특징 융합과 의미 손실의 조합이 가장 높은 성능을 내며, 덧셈이나 원소별 곱셈보다 뛰어나다.
• PCA 시각화 결과, 의미 전환 모듈이 객체, 동사, 주어에 대해 의미 있는 의미 클러스터를 학습하고, 관련된 삼중항 간 선형 관계를 유지함을 확인하였다.
• 정성적 결과는 모델이 '남자-목도어-목도어', '코끼리-다리-소유'와 같은 복잡하고 모호한 관계를 정확히 예측함을 보여주며, 지도 데이터가 덜 정밀한 경우에도 성능을 유지한다.
• 실패 사례는 주로 객체 검출 오류나 모호한 동사에서 기인하며, 향상된 검출기 도입으로 성능 향상을 더욱 기대할 수 있음을 시사한다.