[논문 리뷰] Single-Stage Visual Relationship Learning using Conditional Queries

Alakh Desai, Tz-Ying Wu외 2명|arXiv (Cornell University)|2023. 06. 09.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 조건부 쿼리를 사용하여 술어와 개체 검출을 분리함으로써 모델 복잡도를 감소시키고 엔드 투 엔드 학습을 가능하게 하는 단일 단계 시각적 관계 검출 모델인 TraCQ를 제안한다. 비조합적 술어 공간에서 학습하고 조건부 쿼리 메커니즘을 활용함으로써 TraCQ는 최신 단일 단계 모델 대비 20% 적은 파라미터를 가지며, Visual Genome 벤치마크에서 더 빠른 추론 속도로 많은 이중 단계 방법들을 능가한다.

ABSTRACT

Research in scene graph generation (SGG) usually considers two-stage models, that is, detecting a set of entities, followed by combining them and labeling all possible relationships. While showing promising results, the pipeline structure induces large parameter and computation overhead, and typically hinders end-to-end optimizations. To address this, recent research attempts to train single-stage models that are computationally efficient. With the advent of DETR, a set based detection model, one-stage models attempt to predict a set of subject-predicate-object triplets directly in a single shot. However, SGG is inherently a multi-task learning problem that requires modeling entity and predicate distributions simultaneously. In this paper, we propose Transformers with conditional queries for SGG, namely, TraCQ with a new formulation for SGG that avoids the multi-task learning problem and the combinatorial entity pair distribution. We employ a DETR-based encoder-decoder design and leverage conditional queries to significantly reduce the entity label space as well, which leads to 20% fewer parameters compared to state-of-the-art single-stage models. Experimental results show that TraCQ not only outperforms existing single-stage scene graph generation methods, it also beats many state-of-the-art two-stage methods on the Visual Genome dataset, yet is capable of end-to-end training and faster inference.

연구 동기 및 목표

• 엔티티 후보 간의 완전한 조합에 의존하는 이중 단계 시각적 관계 검출 모델의 비효율성과 복잡성을 해결하기 위해.
• 조합적 엔티티 쌍 분포를 피하는 것으로 기존 단일 단계 모델의 계산 및 파라미터 오버헤드를 줄이기 위해.
• 조건부 쿼리를 통해 술어와 엔티티 검출 학습을 분리함으로써 단일 단계 SGG에서 엔드 투 엔드 학습을 가능하게 하기 위해.
• 상호작용 특징과 술어 분류를 함께 모델링하면서 특징의 혼란을 최소화함으로써 성능을 향상시키기 위해.

제안 방법

• 다중 작업 학습을 피하기 위해 조건부 쿼리를 통해 엔티티와 술어 검출을 분리함으로써 단일 단계 장면 그래프 생성을 위한 새로운 공식을 제안한다.
• DETR 기반의 인코더-디코더 아키텍처를 사용하며, 상호작용 특징(f_i)과 술어 분류(f_p)를 함께 학습하는 술어 검출 브랜치(H)를 구현한다.
• 조건부 쿼리를 사용해 엔티티 정밀화 모듈(C)을 술어 예측에 조건화함으로써 효과적인 엔티티 레이블 공간을 감소시키고 효율적인 추론을 가능하게 한다.
• 술어 브랜치가 느슨한 주어 및 목적어 바운딩 박스 추정치를 예측하도록 유도함으로써 술어와 엔티티 학습 간의 약한 결합을 확보한다.
• 표준 단일 단계 접근 방식과 비교해 모델의 파라미터 수를 크게 줄일 수 있도록 술어 학습을 위한 비조합적 분포 공간을 활용한다.
• 엔티티 정밀화가 술어 예측에 조건화되도록 모델을 구성함으로써 외부 객체 검출기의 필요성을 제거하고 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습과 더 빠른 추론을 유지하면서도 이중 단계 방법들을 능가하는 단일 단계 시각적 관계 검출 모델은 가능한가?
• RQ2 성능을 희생시키지 않고 엔티티 쌍 조합의 조합 폭발 문제를 엔드 투 엔드 SGG에서 어떻게 방지할 수 있는가?
• RQ3 조건부 쿼리를 통해 술어와 엔티티 검출을 분리함으로써 모델의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 상호작용 특징과 술어 분류를 함께 학습하는 것이 완전히 분리된 디코더보다 성능을 향상시킬 수 있는가?
• RQ5 예측을 위한 분포 공간을 줄임으로써 SGG 모델의 파라미터 효율성은 어느 정도 향상되는가?

주요 결과

• TraCQ는 Visual Genome 데이터셋에서 최신 기술 수준의 성능를 달성하며, 이중 단계 모델들 대부분을 능가한다.
• 술어 브랜치에서 학습하는 비조합적 분포 공간 덕분에 최신 단일 단계 모델 대비 20% 적은 파라미터를 사용한다.
• 이중 단계 파이프라인의 제거와 더 작은 검색 공간 덕분에 엔드 투 엔드 학습이 가능하고, 이중 단계 기준선보다 빠른 추론 속도를 달성한다.
• 조건부 쿼리 메커니즘이 효과적으로 엔티티 레이블 공간을 감소시켜 정확도를 유지하면서도 추론 효율성을 향상시킨다.
• 술어 브랜치에서 상호작용 특징과 술어 분류를 함께 학습함으로써 완전히 분리된 디코더보다 더 뛰어난 성능을 달성한다.
• 실증 결과는 제안된 공식이 일반화 능력을 크게 향상시키고 모델 복잡도를 감소시키면서도 높은 정확도를 유지하는 데 기여함을 확인한다.