[논문 리뷰] Long Tail Visual Relationship Recognition with Hubless Regularized Relmix

Sherif Abdelkarim, Aniket Agarwal외 6명|arXiv (Cornell University)|2020. 03. 25.

Multimodal Machine Learning Applications참고 문헌 56인용 수 4

한 줄 요약

이 논문은 장기 꼬리 분포를 가진 시각적 관계 인식(Long-Tail Visual Relationship Recognition, LTVRR)을 위해 제안된 새로운 시각어휘 허브리스(ViLHub) 손실 함수와 관계 Mixup(RelMix) 증강 기법을 소개한다. 이는 희귀 시각적 관계 클래스에서의 인식 성능을 향상시키기 위한 것이다. 제안된 방법은 두 가지 새로운 장기 꼬리 벤치마크인 VG8K-LT와 GQA-LT에서 최신 기준(SOTA) 성능을 달성하며, 헤드 클래스 정확도를 유지하면서도 테일 클래스 성능을 크게 향상시킨다.

ABSTRACT

Several approaches have been proposed in recent literature to alleviate the long-tail problem, mostly in the object classification task. We propose to study the task of Long-Tail Visual Relationship Recognition (LTVRR), which aims at generalizing on the structured long-tail distribution of visual relationships (e.g., rabbit grazing on grass). In this setup, subject, relation, and object classes individually follow a long-tail distribution. We first introduce two large-scale long-tail visual relationship recognition benchmarks to study this task, dubbed as VG8K-LT (5330 objects, 2000 relationships) and GQA-LT (1703 objects, 310 relations). VG8K-LT and GQA-LT are built upon the widely used Visual Genome and GQA datasets. In contrast to existing benchmarks, some classes appear at a very low frequency ($1-14$ examples). We use these benchmarks to study the performance of several state-of-the-art long-tail models on LTVRR setup. We developed a visiolinguistic hubless (ViLHub) loss that consistently encourages visual classifiers to be more predictive of tail classes while being accurate on the head. We also propose relationship Mixup augmentation, dubbed as RelMix, to improve performance on the tail on VG8K-LT and GQA-LT benchmarks with the best performance achieved when combined with ViLHub loss. Benchmarks and code will be made available.

연구 동기 및 목표

• 시각적 관계 인식에서 주체, 관계, 목적어 클래스 간의 극심한 불균형 문제를 해결하기 위함.
• 희귀 클래스가 1~14개의 예시만을 가지는 현실적인 장기 꼬리 분포를 반영한 새로운 대규모 벤치마크인 VG8K-LT와 GQA-LT를 개발하기 위함.
• 헤드 클래스 정확도를 희생시키지 않고도 테일 클래스에 대한 예측 신뢰도를 향상시키기 위해 시각어휘 허브리스(ViLHub) 손실 함수를 제안하기 위함.
• 낮은 빈도의 시각적 관계에 대해 일반화 성능을 향상시키기 위해 관계 기반의 Mixup 증강 기법(RelMix)을 설계하기 위함.
• 새로운 벤치마크에서 기존 최신 기준(long-tail) 방법들을 평가하고, LTVRR 분야의 새로운 최신 기준(SOTA)을 확립하기 위함.

제안 방법

• ViLHub 손실은 헤드 클래스와 테일 클래스의 예측 분포 간의 분포 발산을 최소화함으로써, 시각 분류기가 테일 클래스에 대해 더 예측 가능하도록 하는 시각어휘 정규화 기법이다.
• 학습 중에 적용되어 시각적 표현을 언어적 사전 지식과 정렬함으로써, 헤드 클래스에서의 과신뢰를 감소시키고 희귀 관계에 대한 일반화 성능을 향상시킨다.
• RelMix는 시각적 관계 샘플 간의 주체-관계-목적어 삼중항을 사용해 선형 보간을 수행함으로써, 희귀 조합의 다양성과 커버리지가 향상된 합성 학습 예제를 생성한다.
• ViLHub 손실과 RelMix 증강을 결합하여 헤드 클래스와 테일 클래스 성능을 동시에 최적화할 수 있도록 한다.
• VG8K-LT와 GQA-LT 벤치마크는 Visual Genome와 GQA 데이터셋을 필터링하여 극심한 클래스 불균형을 유지하는 장기 꼬리 분포만을 포함하도록 구성된다.
• 모델 학습은 대조 학습과 다중 태스크 감독을 사용하며, ViLHub는 손실 단계에, RelMix는 데이터 증강 단계에 각각 통합된다.

실험 결과

연구 질문

• RQ1 기본적인 교차 엔트로피 손실과 비교했을 때, 제안된 ViLHub 손실 함수는 희귀 시각적 관계 클래스에서의 인식 성능에 어떻게 기여하는가?
• RQ2 장기 꼬리 환경에서 관계 기반 Mixup 증강 전략(RelMix)은 낮은 빈도의 시각적 관계에 대한 일반화 성능을 어느 정도 향상시키는가?
• RQ3 새로 도입된 VG8K-LT와 GQA-LT 벤치마크에서 기존 최신 기준(long-tail) 방법들은 어떻게 평가되는가?
• RQ4 ViLHub와 RelMix의 병합 효과는 테일 클래스 정확도와 전체 모델의 강건성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 수준의 클래스 불균형을 가진 다른 장기 꼬리 시각적 관계 데이터셋 간에도 일반화 가능한가?

주요 결과

• ViLHub 손실은 테일 클래스에서의 예측 성능을 크게 향상시키며, 낮은 빈도의 관계에 대해 F1 점수에서 측정 가능한 성과 향상을 보였다.
• RelMix 증강만으로도 테일 클래스 성능이 향상되며, ViLHub와의 조합 시 VG8K-LT와 GQA-LT 벤치마크에서 가장 높은 전체 정확도를 달성했다.
• 제안된 방법은 VG8K-LT와 GQA-LT 양쪽에서 최신 기준 성능을 달성하였으며, 헤드 클래스와 테일 클래스 양쪽에서 기존 장기 꼬리 방법들을 능가했다.
• 벤치마크 VG8K-LT와 GQA-LT는 존재하는 모델들이 극심한 장기 꼬리 분포, 특히 10개 미만의 학습 예시를 가진 관계에서 어려움을 겪고 있음을 드러냈다.
• 절단 분석 결과, ViLHub와 RelMix는 상호 보완적으로 기여하며, 두 구성 요소를 함께 사용할 때 가장 높은 성능을 기록했다.