[논문 리뷰] Generalized Unbiased Scene Graph Generation

Xinyu Lyu, Lianli Gao외 5명|arXiv (Cornell University)|2023. 08. 09.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 시나포스 그룹 생성(SGG)에서 술어 수준과 개념 수준의 클래스 불균형을 동시에 해결하는 새로운 프레임워크인 일반화된 편향 없는 시나포스 그룹 생성(G-USGG)을 소개한다. 다중 개념 학습(MCL)과 개념 정규화, 균형 잡힌 프로토타입 메모리 기반의 표현 학습을 통해 희귀, 흔하지 않은, 일반적인 주어-목적어 개념 조합 간의 균형 잡힌 표현 학습을 보장하며, VG-SGG와 OI-SGG에서 최신 기준 성능을 달성한다.

ABSTRACT

Existing Unbiased Scene Graph Generation (USGG) methods only focus on addressing the predicate-level imbalance that high-frequency classes dominate predictions of rare ones, while overlooking the concept-level imbalance. Actually, even if predicates themselves are balanced, there is still a significant concept-imbalance within them due to the long-tailed distribution of contexts (i.e., subject-object combinations). This concept-level imbalance poses a more pervasive and challenging issue compared to the predicate-level imbalance since subject-object pairs are inherently complex in combinations. Hence, we introduce a novel research problem: Generalized Unbiased Scene Graph Generation (G-USGG), which takes into account both predicate-level and concept-level imbalance. To the end, we propose the Multi-Concept Learning (MCL) framework, which ensures a balanced learning process across rare/ uncommon/ common concepts. MCL first quantifies the concept-level imbalance across predicates in terms of different amounts of concepts, representing as multiple concept-prototypes within the same class. It then effectively learns concept-prototypes by applying the Concept Regularization (CR) technique. Furthermore, to achieve balanced learning over different concepts, we introduce the Balanced Prototypical Memory (BPM), which guides SGG models to generate balanced representations for concept-prototypes. Extensive experiments demonstrate the remarkable efficacy of our model-agnostic strategy in enhancing the performance of benchmark models on both VG-SGG and OI-SGG datasets, leading to new state-of-the-art achievements in two key aspects: predicate-level unbiased relation recognition and concept-level compositional generability.

연구 동기 및 목표

• 장꼬리 분포에 기인한 장기적인 주어-목적어 쌍 분포에도 불구하고 균형 잡힌 술어가 존재하는 편향 없는 시나포스 그룹 생성에서 간과된 개념 수준의 불균형을 해결하기 위해.
• 술어 수준과 개념 수준의 데이터 불균형을 동시에 완화하는 새로운 연구 문제인 일반화된 편향 없는 시나포스 그룹 생성(G-USGG)을 체계화하기 위해.
• 희귀, 흔하지 않은, 일반적인 개념 조합 간의 공정성과 일반화 능력을 향상시키기 위한 모델에 관계없이 적용 가능한 전략을 개발하기 위해.
• 균형 잡힌 표현 학습을 통해 시나포스 그룹 생성 모델의 편향 없는 관계 인식 능력과 복합적 생성 능력을 향상시키기 위해.

제안 방법

• 다양한 개념 빈도를 기반으로 동일한 술어 클래스 내에서 다수의 개념 프로토타입을 모델링하여 개념 수준의 불균형을 정량화한다.
• 각 술어 카테고리 내에서 서로 다른 개념 프로토타입을 명시적으로 학습하고 분리하기 위해 개념 정규화(CR)를 적용한다.
• 다양한 빈도 수준의 개념 프로토타입 간의 표현 학습을 동적으로 균형 잡기 위해 균형 잡힌 프로토타입 메모리(BPM)를 도입한다.
• 희귀, 흔하지 않은, 일반적인 개념에 대해 동일한 강도의 특징을 생성하도록 유도하는 메모리 증강 기반 메커니즘을 사용한다.
• 백본 SGG 모델에 관계없이 적용 가능한 다중 개념 학습 프레임워크를 설계하여 즉시 통합이 가능한 플러그 앤 플레이 아키텍처를 구현한다.
• 개념 프로토타입에 대한 대비 손실을 사용하여 종합적으로 분류 가능하고 균형 잡힌 특징 학습을 유도하기 위해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 장꼬리 주어-목적어 조합에 기인한 개념 수준의 불균형은 편향 없는 시나포스 그룹 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ2 통합 프레임워크는 SGG에서 술어 수준과 개념 수준의 데이터 불균형을 효과적으로 완화할 수 있는가?
• RQ3 모델에 관계없이 적용 가능한 학습 전략은 희귀 및 일반 개념 조합 간의 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 균형 잡힌 프로토타입 메모리는 개념 빈도 수준 간의 표현 공정성을 어떻게 향상시키는가?
• RQ5 다중 개념 학습 프레임워크는 SGG에서 편향 없는 관계 인식 능력과 복합적 생성 능력을 향상시키는가?

주요 결과

• 제안된 MCL 프레임워크는 편향 없는 관계 인식 측면에서 VG-SGG 및 OI-SGG 벤치마크에서 최신 기준 성능을 달성한다.
• 제로샷 및 피셔샷 설정에서의 성능 향상이 뚜렷하여 희귀 및 흔하지 않은 개념 간의 복합적 생성 능력이 향상됨을 보여준다.
• 개념 정규화는 동일한 술어 클래스 내에서 서로 다른 개념 프로토타입을 효과적으로 분리하고 학습하여 표현 품질을 향상시킨다.
• 균형 잡힌 프로토타입 메모리는 희귀 개념에서의 성능 저하를 억제하기 위해 균형 잡힌 특징 학습을 강제함으로써 성능 저하를 효과적으로 완화한다.
• 이 프레임워크는 모델에 관계없이 적용 가능하며, 아키텍처 수정 없이도 다양한 베이스라인 SGG 모델의 성능을 향상시킨다.
• 광범위한 추상화 실험을 통해 개념 수준의 모델링 및 균형 잡힌 메모리 구성 요소가 불균형 관련 편향을 감소시키는 데 효과적임을 확인한다.