[논문 리뷰] Neural Message Passing for Visual Relationship Detection

Yue Hu, Siheng Chen외 3명|arXiv (Cornell University)|2022. 08. 08.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 시각적 관계를 방향성 있는 상호작용 그래프로 모델링하고 메시지 전파를 통해 객체 간의 고차원적 맥락적 종속성을 포착하는 그래프 기반 방법인 신경 메시지 전파(Neural Message Passing, NMP)를 제안한다. 시각적 특징, 단어 임베딩, 공간 정보를 통합함으로써 NMP는 VRD 및 VG 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 관계 검출의 Recall@100을 96.61%로 향상시키고, 제로샷 술어 검출에서는 27.50%로 개선한다.

ABSTRACT

Visual relationship detection aims to detect the interactions between objects in an image; however, this task suffers from combinatorial explosion due to the variety of objects and interactions. Since the interactions associated with the same object are dependent, we explore the dependency of interactions to reduce the search space. We explicitly model objects and interactions by an interaction graph and then propose a message-passing-style algorithm to propagate the contextual information. We thus call the proposed method neural message passing (NMP). We further integrate language priors and spatial cues to rule out unrealistic interactions and capture spatial interactions. Experimental results on two benchmark datasets demonstrate the superiority of our proposed method. Our code is available at https://github.com/PhyllisH/NMP.

연구 동기 및 목표

• 매우 많은 잠재적 주어-술어-목적어 삼중항으로 인해 발생하는 조합 폭발 문제와 맥락 모델링의 부족을 해결하기 위해.
• 이전 방법들이 관계를 독립적으로 다루거나 상호작용 간 종속성을 忽시하는 한계를 극복하기 위해.
• 언어적 사전 지식과 공간 정보를 통합하여 비현실적인 관계를 걸러내고 공간 추론 능력을 향상시켜 일반화 능력을 향상시키기 위해.
• 방향성 있는 상호작용 그래프에서 구조적 메시지 전파를 통해 객체와 상호작용 임베딩을 통합적으로 학습하는 프레임워크를 개발하기 위해.

제안 방법

• 검출된 객체를 노드로, 잠재적 관계(주어-술어-목적어 삼중항)를 간선으로 하는 방향성 있는 상호작용 그래프를 구축한다.
• 상호작용 그래프 상에서 메시지 전파 기법을 적용하여 노드와 간선 간의 맥락 정보를 전파함으로써 객체 및 상호작용 임베딩을 향상시킨다.
• 객체 검출기로부터의 시각적 외관 특징, 객체 및 술어 어휘의 단어 임베딩, 상대적 공간 좌표를 입력 특징으로 통합한다.
• 강화된 간선 임베딩과 공간 특징을 사용하여 다층 퍼셉트론을 통해 관계 삼중항의 엔드 투 엔드 분류를 수행한다.
• 그래프 구조를 활용하여 다중 관계 간의 고차원 종속성(예: 한 관계가 다른 관계의 타당성에 제약을 둠)을 모델링한다.
• 관계 예측 작업에 대해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련하고, 구성 요소 기여도를 검증하기 위해 추론 분석(Ablation studies)을 실시한다.

실험 결과

연구 질문

• RQ1 구조화된 상호작용 그래프에서의 메시지 전파가 시각적 관계 간의 종속성을 효과적으로 모델링하고 검출 성능을 향상시키는가?
• RQ2 언어적 사전 지식과 공간 정보는 비현실적인 관계를 걸러내고 시각적 관계 검출에서 공간 추론 능력을 향상시키는 데 어떤 기여를 하는가?
• RQ3 그래프 기반 메시지 전파를 통해 고차원 맥락 정보를 통합할 경우, 특히 제로샷 설정에서 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 시각적 특징, 단어 임베딩, 공간 정보, 메시지 전파와 같은 개별 구성 요소들이 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• NMP는 VRD 데이터셋에서 관계 검출 작업에서 Recall@100 96.61%의 새로운 최신 기준 성능을 달성하여 이전 방법들보다 약 3% 향상되었다.
• 제로샷 술어 검출 벤치마크에서 NMP는 R@50와 R@100을 각각 5%와 4.5% 향상시켜 강력한 일반화 능력을 입증했다.
• 단어 임베딩과 공간 정보의 통합은 술어 검출에서 각각 3%와 1%의 성능 향상을 가져왔으며, 이는 비현실적인 관계를 걸러내는 데서의 기여를 강조한다.
• 메시지 전파 기법은 술어 검출에서 Recall@100에 대해 일관되게 3% 향상시키고 관계 검출에서는 2% 향상시키며, 맥락 종속성을 포착하는 데의 효과성을 확인한다.
• 더 큰 VG 데이터셋에서 NMP는 술어 검출에 대해 R@50 89.69%와 R@100 95.54%를 기록하여 이전 최신 기준 방법들보다 뚜렷한 격차로 앞서며 성능을 확보했다.
• 추론 분석 결과, 시각적 특징, 언어 사전 지식, 공간 정보, 메시지 전파와 같은 각 구성 요소가 최종 성능에 의미 있는 기여를 하며, 특히 메시지 전파가 가장 안정적인 기여를 한다고 확인되었다.