[논문 리뷰] RelTR: Relation Transformer for Scene Graph Generation

Yuren Cong, Michael Ying Yang외 1명|arXiv (Cornell University)|2022. 01. 27.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 시각적 외관만을 사용하여 고정된 수의 주어-서술어-목적어 삼중항을 직접 예측하는 Transformer 인코더-디코더 아키텍처 기반의 일단계(end-to-end) 스크린 그래프 생성 모델인 RelTR를 제안한다. 주어와 목적어 쿼리를 결합하고 IoU 기반 이분 매칭을 사용한 세트 예측 손실을 활용함으로써, RelTR는 Visual Genome, Open Images V6, VRD에서 두 단계 방법보다 빠른 추론 속도와 더 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Different objects in the same scene are more or less related to each other, but only a limited number of these relationships are noteworthy. Inspired by DETR, which excels in object detection, we view scene graph generation as a set prediction problem and propose an end-to-end scene graph generation model RelTR which has an encoder-decoder architecture. The encoder reasons about the visual feature context while the decoder infers a fixed-size set of triplets subject-predicate-object using different types of attention mechanisms with coupled subject and object queries. We design a set prediction loss performing the matching between the ground truth and predicted triplets for the end-to-end training. In contrast to most existing scene graph generation methods, RelTR is a one-stage method that predicts a set of relationships directly only using visual appearance without combining entities and labeling all possible predicates. Extensive experiments on the Visual Genome and Open Images V6 datasets demonstrate the superior performance and fast inference of our model.

연구 동기 및 목표

• 모든 물체 제안 영역 간의 관계를 밀도 있게 예측하는 두 단계 스크린 그래프 생성 방법의 비효율성과 높은 파라미터 수 문제를 해결하기 위해.
• 사전에 애너테이션된 물체 제안 영역이나 모든 가능한 쌍에 대한 관계 분류에 의존하지 않고, 시각적 외관만으로도 흩어진 의미 있는 스크린 그래프를 직접 종단 간 예측할 수 있도록 하기 위해.
• 학습 중에 예측된 삼중항을 참값과 정렬하기 위해 IoU 기반 이분 매칭을 사용하는 세트 예측 손실을 설계하기 위해.
• 삼중항 디코더에서 분리된 엔터티 어텐션을 통해 주어와 목적어의 국소화 및 분류 성능을 향상시키기 위해.
• 시각적 외관 전용의 일단계 접근 방식이 더 빠른 추론 속도와 감소한 모델 복잡성으로 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• RelTR는 인코더가 시각적 특징을 처리하고 디코더가 결합된 주어 및 목적어 쿼리를 사용하여 고정 크기의 삼중항 세트를 생성하는 인코더-디코더 Transformer 아키텍처를 사용한다.
• 삼중항 디코더는 다중 헤드 어텐션 메커니즘을 사용하여 전반적인 이미지 맥락과 엔터티 간 공존 관계를 추론함으로써 주어, 목적어, 서술어를 동시에 예측할 수 있도록 한다.
• 지식 기반의 세트 예측 손실이 도입되었으며, 교차 영역 비율(IoU)을 사용한 이분 매칭을 통해 참값 삼중항과 예측 삼중항 간의 최적 매칭을 수행한다.
• 디코더에서 분리된 엔터티 어텐션은 주어 및 목적어 표현에 대해 별도로 주목함으로써 주어 및 목적어의 국소화 및 분류 성능을 향상시킨다.
• 모델은 사전에 애너테이션된 물체 제안 영역이나 모든 가능한 쌍에 대한 관계 레이블이 필요 없이 시각적 외관만으로 종단 간 학습된다.
• 프레임워크는 간단하게 구현 가능하며 코드와 사전 학습 모델이 공개되어 있다.

실험 결과

연구 질문

• RQ1 두 단계 검출 파이프라인에 의존하지 않고, 시각적 외관만으로도 일단계, 종단 간 Transformer 기반 모델이 흩어진 의미 있는 스크린 그래프를 직접 생성할 수 있는가?
• RQ2 학습 중에 참값 삼중항을 모델 예측에 할당하기 위해 IoU 기반 이분 매칭 전략이 얼마나 효과적인가?
• RQ3 결합된 주어 및 목적어 쿼리와 분리된 어텐션은 스크린 그래프 생성에서 국소화 및 관계 예측 성능을 어느 정도 향상시키는가?
• RQ4 시각적 외관 전용의 일단계 접근 방식이 정확도, 추론 속도, 파라미터 효율성 측면에서 기존의 두 단계 SGG 모델을 능가하는가?
• RQ5 학습된 주어 및 목적어 쿼리는 어떻게 행동하며, 어떤 역할을 통해 관련 관계를 포착하는가?

주요 결과

• RelTR는 Visual Genome, Open Images V6, VRD 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정확도와 추론 속도 측면에서 기존의 두 단계 모델을 모두 능가한다.
• Visual Genome에서 RelTR는 9개의 예측에서 평균 소수율(Recall@9)이 41.7%를 기록하였으며, '앞쪽에 있는'과 같은 저빈도 공간 관계도 정확하게 예측하는 질적 결과를 보였다.
• 일부 참값 애너테이션의 편향(예: 누락되거나 중복된 삼중항)이 존재하더라도 RelTR는 강건한 성능 유지를 보였으며, 데이터셋 노이즈에 대한 저항력이 있음을 시사한다.
• Open Images V6에서는 평균 애너테이션이 1장당 2.8개의 삼중항만 포함하고 있음에도 불구하고, RelTR는 고품질의 확신 있는 삼중항 제안을 생성하였으며, 더 단순하고 대규모의 시나리오에 대한 강력한 일반화 능력을 보였다.
• 분리된 엔터티 어텐션 덕분에 주어 및 목적어의 국소화 및 분류 성능이 향상되었으며, 이는 주어 및 목적어 표현의 품질을 독립적으로 향상시켰다.
• 제거 분석(ablation study)은 IoU 기반 매칭을 사용한 세트 예측 손실이 성능 향상에 핵심적임을 확인하였으며, 주목사의 열린 맵을 통해 주목할 만한 이미지 영역을 강조함으로써 모델의 행동이 해석 가능함을 보였다.