[논문 리뷰] Iterative Scene Graph Generation

Siddhesh Khandelwal, Leonid Sigal|arXiv (Cornell University)|2022. 07. 27.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 마르코프 무작위장(Markov Random Field)에서 메시지 전파를 통해 시나리오 그래프를 반복적으로 개선하는 반복적 시나리오 그래프 생성 프레임워크를 제안한다. 이는 종속된 트랜스포머 아키텍처를 통해 주어진 주어, 목적어, 서술어 간의 공동 추론을 가능하게 하며, 엔드 투 엔드로 훈련 가능한 구조를 제공한다. 이 방법은 Visual Genome 및 Action Genome 벤치마크에서 객체와 서술어 예측을 공동 최적화함으로써 성능을 향상시키며, 이전 방법 대비 최대 2.3의 R@50 및 1.6의 hR@50 향상을 기록하여 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The task of scene graph generation entails identifying object entities and their corresponding interaction predicates in a given image (or video). Due to the combinatorially large solution space, existing approaches to scene graph generation assume certain factorization of the joint distribution to make the estimation feasible (e.g., assuming that objects are conditionally independent of predicate predictions). However, this fixed factorization is not ideal under all scenarios (e.g., for images where an object entailed in interaction is small and not discernible on its own). In this work, we propose a novel framework for scene graph generation that addresses this limitation, as well as introduces dynamic conditioning on the image, using message passing in a Markov Random Field. This is implemented as an iterative refinement procedure wherein each modification is conditioned on the graph generated in the previous iteration. This conditioning across refinement steps allows joint reasoning over entities and relations. This framework is realized via a novel and end-to-end trainable transformer-based architecture. In addition, the proposed framework can improve existing approach performance. Through extensive experiments on Visual Genome and Action Genome benchmark datasets we show improved performance on the scene graph generation.

연구 동기 및 목표

• 기존의 시나리오 그래프 생성 방법에서 객체와 서술어 간 조건부 독립성을 가정하는 고정된 분해 방식의 한계를 해결하기 위해.
• 이전 그래프 추정치에 기반하여 각 개선 단계를 동적으로 조건화함으로써 주어, 목적어, 서술어 간의 공동 추론을 가능하게 하기 위해.
• 객체 검출기에서 비롯된 오류 전파 문제를 해결하고, 드물거나 감지하기 어려운 서술어에 대한 성능을 향상시키기 위해.
• 모든 가능한 주어-목적어 쌍을 동시에 평가하는 것 대신 반복적 개선을 통해 이차적 쌍화 복잡도를 피하는 엔드 투 엔드로 훈련 가능한 아키텍처를 설계하기 위해.
• 새로운 손실 가중치 기법과 데이터 샘플링 전략 통합을 통해 머리, 몸통, 꼬리 서술어 클래스에서의 재현율 향상을 입증하기 위해.

제안 방법

• 각 단계가 이전 그래프 추정치에 기반하여 조건화되는 반복적 개선 과정을 사용하며, 마르코프 무작위장에서 메시지 전파를 펼쳐 공동 추론을 가능하게 한다.
• 주어, 목적어, 서술어를 위한 세 개의 동기화된 다층 디코더를 사용하는 새로운 트랜스포머 기반 아키텍처로, 디코더 간 공유된 어텐션 메커니즘을 통해 상호 구성 요소 간 추론을 가능하게 한다.
• 반복 간 일관성과 개선을 장려하기 위해 명시적으로 설계된 공동 손실 함수를 사용하며, 머리, 몸통, 꼬리 클래스 성능를 균형 있게 유지하기 위해 동적 가중치를 적용한다.
• 표준 이중 단계 검출 기반 그래프 추정치로 모델을 초기화한 후, 반복적 메시지 전파를 통해 다중 단계에 걸쳐 개선한다.
• 특히 긴 꼬리 서술어에서의 성능 향상을 위해, 이중 그래프 네트워크(BGNN)를 활용한 미세조정을 지원한다.
• 모든 가능한 주어-목적어 쌍을 동시에 평가하는 대신 단계별로 관계를 개선함으로써 이차적 쌍화를 피하는 방식을 취한다.

실험 결과

연구 질문

• RQ1 동적으로 조건화된 반복적 개선이 시나리오 그래프 생성에서 주어, 목적어, 서술어 간의 공동 추론을 향상시키는가?
• RQ2 고정된 분해 방식을 마르코프 무작위장에서의 반복적 메시지 전파로 대체함으로써, 긴 꼬리 및 감지하기 어려운 서술어에 대한 성능 향상이 이루어지는가?
• RQ3 통합된 트랜스포머 아키텍처가 효율성과 확장성을 유지하면서도 주어, 목적어, 서술어 예측을 공동 최적화할 수 있는가?
• RQ4 제안된 손실 가중치 기법은 표준 샘플링 전략 대비 머리, 몸통, 꼬리 서술어 클래스에서의 재현율에 어떤 영향을 미치는가?
• RQ5 반복적 프레임워크는 기존의 데이터 샘플링 기법(예: top-k 예측)과 결합하여 성능 향상을 더욱 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 Visual Genome 데이터셋에서 평균 재현율 20.2@50 및 24.1@100을 달성하며, BGNN를 적용한 베이스라인 SGTR 대비 mR@50에서 1.3점, hR@50에서 1.6점 향상되었다.
• 주어-목적어 쌍당 상위 3개의 서술어를 예측할 경우, 재현율은 각각 30.8@50 및 35.6@100에 도달하여, 베이스라인 SGTR 대비 각각 6.2점과 9.6점 향상되었다.
• 베이스라인 대비 머리 클래스에서 1.6점, 꼬리 클래스에서 1.6점의 조화 평균 재현율 향상을 기록하며, 클래스 빈도에 관계없이 보다 우수한 일반화 성능을 보였다.
• BGNN 미세조정 통합으로 mR@50가 1.3점 향상되었으며, 이는 손실 가중치 기법이 긴 꼬리 성능 향상에 효과적임을 입증한다.
• 정성적 결과는 개선 단계 전반에 걸쳐 그래프 품질이 일관되게 향상되었음을 보여주며, 후속 반복에서 잘못된 예측가 대부분 수정되는 경향을 보였다.
• 이 방법은 Visual Genome 및 Action Genome 벤치마크에서 모두 최신 기술 성능을 달성하며, 다양한 시나리오 이해 작업에 대한 강건성을 입증했다.