[논문 리뷰] Open-Sampling: Exploring Out-of-Distribution data for Re-balancing Long-tailed datasets

Hongxin Wei, Lue Tao외 3명|arXiv (Cornell University)|2022. 06. 17.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 장수분포 데이터셋을 보정하기 위해 분포 외(out-of-distribution, OOD) 데이터를 활용하고, 보완적인 분포를 통해 클래스 사전확률을 정렬함으로써, OOD 데이터에 합성 노이즈 레이블을 부여하는 새로운 방법인 Open-sampling을 제안한다. 이는 장수분포 학습에서 소수 클래스 성능과 일반화 능력을 크게 향상시키며, 최신 기법들을 능가하고, 클래스 불균형 조건에서도 강력한 OOD 탐지 기능을 제공한다.

ABSTRACT

Deep neural networks usually perform poorly when the training dataset suffers from extreme class imbalance. Recent studies found that directly training with out-of-distribution data (i.e., open-set samples) in a semi-supervised manner would harm the generalization performance. In this work, we theoretically show that out-of-distribution data can still be leveraged to augment the minority classes from a Bayesian perspective. Based on this motivation, we propose a novel method called Open-sampling, which utilizes open-set noisy labels to re-balance the class priors of the training dataset. For each open-set instance, the label is sampled from our pre-defined distribution that is complementary to the distribution of original class priors. We empirically show that Open-sampling not only re-balances the class priors but also encourages the neural network to learn separable representations. Extensive experiments demonstrate that our proposed method significantly outperforms existing data re-balancing methods and can boost the performance of existing state-of-the-art methods.

연구 동기 및 목표

• 장수분포 데이터셋에서 실제 세계 데이터가 본질적으로 불균형하기 때문에, 소수 클래스에 대한 모델 일반화 능력이 열악한 문제를 해결하기 위해.
• 기존에 준감독 학습에서 해로운 것으로 간주되었던 분포 외(OOD) 데이터의 잠재적 잠재력을 활용하여, 장수분포 학습에서 데이터 재균형화를 탐색하기 위해.
• 보완적인 레이블 분포와 클래스별 가중치를 사용하여, OOD 노이즈에 과적합되지 않도록 OOD 데이터를 활용하는 방법을 개발하기 위해.
• OOD 데이터를 보조 데이터 소스로 사용하여 모델의 강건성과 표현 학습 능력을 향상시키는 데 대한 경험적 및 이론적 근거를 제공하기 위해.
• 장수분포 학습에서 효과적인 개방세트 보조 데이터셋을 선택하기 위한 실용적 지침을 수립하기 위해.

제안 방법

• 기존 클래스 사전확률에 대해 사전 정의된 보완 분포에서 유래한 OOD 인스턴스에 합성 노이즈 레이블을 할당하는 Open-sampling을 도입한다.
• 소수 클래스에 대해 더 강한 정규화를 제공하기 위해 손실 함수에서 클래스별 가중치 기반의 가중치 기반 기법을 사용하여 OOD 노이즈에 대한 과적합을 완화한다.
• 보완 분포는 표준 클래스 균형 분포보다 균일도가 더 높도록 설계되어 있어, OOD 레이블의 해로움을 감소시킨다.
• 베이지안 관점에서 OOD 데이터가 사전 재균형화와 표현 분리도 향상에 기여할 수 있음을 정당화한다.
• 표본 수와 현실성에 중점을 두고, 클래스 다양성보다는 대규모이고 현실적인 OOD 데이터셋을 보조 데이터로 활용한다.
• 기존 최신 장수분포 학습 기법과 원활하게 통합되어, 아키텍처 변경 없이 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 분포 외(OOD) 데이터를 모델 일반화 능력 저하 없이 장수분포 데이터셋 재균형화에 효과적으로 활용할 수 있는가?
• RQ2 OOD 샘플의 레이블 분포 선택이 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 보조 OOD 데이터셋의 특성(예: 크기, 다양성, 현실성) 중 재균형화에 가장 중요한 요소는 무엇인가?
• RQ4 Open-sampling은 장수분포 분류 외에도 분포 외(OOD) 탐지 성능을 향상시키는가?
• RQ5 Open-sampling은 기존 최신 장수분포 학습 기법에 플러그인 모듈로 활용될 수 있는가?

주요 결과

• Open-sampling은 CIFAR-10/100, CelebA-5, Places-LT 등 네 가지 장수분포 벤치마크에서 기존 데이터 재균형화 기법들을 뛰어넘는 성능을 보였다.
• 기본 기법 대비 소수 클래스 평균 정확도를 최대 12.5% 향상시켰으며, 모든 데이터셋에서 일관된 성능 향상을 보였다.
• 클래스 균형 분포가 아닌 보완 레이블 분포를 사용할 경우, OOD 노이즈의 부정적 영향을 줄여 더 나은 성능을 달성하였다.
• 표본 수가 많고 현실적인 OOD 데이터셋이 가장 우수한 결과를 제공하였으며, 클래스 다양성보다는 데이터의 현실성과 규모가 더 중요했다.
• 학습된 표현의 분리도가 향상되었음을 보여주며, 향상된 특징 클러스터링과 마진 분석 결과를 통해 이를 입증하였다.
• 학습 레이블이 노이즈가 있는 조건에서도 클래스 불균형 설정에서 OOD 탐지 성능이 최신 기술을 넘어서는 성과를 달성하였다.