[논문 리뷰] Compositional Feature Augmentation for Unbiased Scene Graph Generation

Lin Li, Guikun Chen외 4명|arXiv (Cornell University)|2023. 08. 13.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 관계 트리플릿의 내재적 및 외재적 특징을 증강함으로써 꼬리 술어의 특징 다양성을 높임으로써 시나리오 그래프 생성(SGG)에서의 편향을 완화하는 새로운 모델에 종속되지 않는 방법인 조합적 특징 증강(CFA)을 제안한다. CFA는 트리플릿 특징을 내재적(객체 수준)과 외재적(맥락 기반) 구성요소로 분해한 후, 부족한 꼬리 카테고리의 특징을 풍부하게 하기 위해 특징 교체와 믹스업을 적용한다. 이로 인해 VG 및 GQA에서 평균 재현율 측정 기준으로 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Scene Graph Generation (SGG) aims to detect all the visual relation triplets $<$ exttt{sub}, exttt{pred}, exttt{obj}$>$ in a given image. With the emergence of various advanced techniques for better utilizing both the intrinsic and extrinsic information in each relation triplet, SGG has achieved great progress over the recent years. However, due to the ubiquitous long-tailed predicate distributions, today's SGG models are still easily biased to the head predicates. Currently, the most prevalent debiasing solutions for SGG are re-balancing methods, \eg, changing the distributions of original training samples. In this paper, we argue that all existing re-balancing strategies fail to increase the diversity of the relation triplet features of each predicate, which is critical for robust SGG. To this end, we propose a novel Compositional Feature Augmentation ( extbf{CFA}) strategy, which is the first unbiased SGG work to mitigate the bias issue from the perspective of increasing the diversity of triplet features. Specifically, we first decompose each relation triplet feature into two components: intrinsic feature and extrinsic feature, which correspond to the intrinsic characteristics and extrinsic contexts of a relation triplet, respectively. Then, we design two different feature augmentation modules to enrich the feature diversity of original relation triplets by replacing or mixing up either their intrinsic or extrinsic features from other samples. Due to its model-agnostic nature, CFA can be seamlessly incorporated into various SGG frameworks. Extensive ablations have shown that CFA achieves a new state-of-the-art performance on the trade-off between different metrics.

연구 동기 및 목표

• 긴 꼬리 술어 분포로 인해 SGG 모델이 헤드 술어 중심으로 편향되는 문제를 해결하기 위해.
• 기존의 재균형 기법이 샘플 빈도나 손실 가중치 조정을 통해는 술어의 특징 다양성을 높이지 못하는 한계를 극복하기 위해.
• 부족한 술어를 위한 특징 공간의 다양성을 향상시키는 모델에 종속되지 않는 증강 전략을 개발하기 위해.
• 트리플릿 특징 분포를 풍부하게 함으로써 긴 꼬리 SGG에서 의사결정 경계 학습을 향상시키기 위해.
• 헤드, 바디, 꼬리 술어 전반에서 mR@K와 R@K 간의 더 나은 트레이드오���을 달성하기 위해.

제안 방법

• CFA는 각 관계 트리플릿 특징을 내재적(객체 특수성)과 외재적(맥락 기반) 구성요소로 분해한다.
• 내재적 특징 증강을 위해, 패턴, 맥락, 의미적 유사도 기반 클러스터링을 사용하여 다른 샘플의 의미적 및 맥락적으로 유사한 엔티티로 꼬리 술어 트리플릿의 엔티티 특징을 교체한다.
• 외재적 특징 증강을 위해, 학습 가능한 파라미터 θ를 사용하여 전경 및 배경 트리플릿 특징 간에 믹스업을 적용한다.
• 이 방법은 모델에 종속되지 않으며 기존의 SGG 프레임워크(예: Motifs)에 원활하게 통합될 수 있다.
• 교체 또는 혼합을 위한 특징 선택은 의미적 및 맥락적 타당성을 보장하기 위해 유사도 메트릭에 의해 지시된다.
• 학습 데이터의 빈도나 손실 가중치를 변경하지 않고도 특징 다양성을 증가시켜 편향의 근본 원인인 희박하고 다각도가 없는 특징 분포를 직접적으로 해결한다.

실험 결과

연구 질문

• RQ1 샘플 빈도나 손실 가중치 조정 외에 트리플릿 특징의 다양성을 높임으로써 SGG에서 더 나은 일반화가 가능할 수 있는가?
• RQ2 내재적 및 외재적 특징을 분리함으로써 꼬리 술어에 대해 더 효과적이고 의미적으로 의미 있는 데이터 증강이 가능할까?
• RQ3 다른 샘플의 특징을 혼합하거나 교체하는 모델에 종속되지 않는 증강 전략이 헤드, 바디, 꼬리 술어 전반에서 성능 향상에 기여할 수 있는가?
• RQ4 다양한 유사도 메트릭(패턴, 맥락, 의미)이 증강된 특징의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 하이퍼파라미터 설정(예: 클러스터 수 K, 믹스업 비율 θ) 중 어떤 것이 편향 없는 SGG에서 mR@K와 R@K 간의 최적의 트레이드오프를 이룰 수 있는가?

주요 결과

• CFA는 PredCls 설정 하에서 VG 데이터셋에서 새로운 최신 기술 성능(SOTA)을 달성하였으며, 평균 재현율이 46.2로 기준 모델인 Motifs를 초월하였다.
• 제거 실험 결과, 모든 CFA 구성요소(내재적 교체, 전경 믹스업, 배경 믹스업)를 결합할 경우 평균 재현율이 최고 수준인 46.2를 기록하여 상호보완적 향상 효과를 입증하였다.
• 내재적 특징 교체만을 사용할 경우 mR@K는 2.8%~3.4% 향상되지만 R@K는 약간 감소하여 특징 다양성이 부족해 효과가 제한적임을 시사하였다.
• 외재적 특징 믹스업(전경 및 배경 모두)은 mR@K를 크게 향상시켰다(예: mR@100에서 17.8%에서 30.3%로 증가) 하면서도 R@K를 유지하여 맥락 특징을 풍부하게 하는 데 효과적임을 보였다.
• 내재적 CFA에서 최적의 클러스터 수 K=15는 특징 다양성과 선택 범위의 최적 균형을 이끌어내었으며, K=40 및 K=150보다 우수한 성능을 보였다.
• 최적의 믹스업 파라미터 θ=0.5는 쿼리 및 맥락 특징의 영향을 균형 있게 유지하며, θ=0.0 또는 θ=1.0과 같이 극단적인 경우 성능 저하가 발생함을 보였다.