[논문 리뷰] Learning From Long-Tailed Data With Noisy Labels

Shyamgopal Karthik, Jérôme Revaud외 1명|arXiv (Cornell University)|2021. 08. 25.

Machine Learning and Data Classification참고 문헌 48인용 수 15

한 줄 요약

이 논문은 먼저 장수분포 및 노이즈가 있는 데이터로부터 강건한 표현을 학습하기 위해 자기지도 학습 사전 훈련을 사용하는 이단계 방법을 제안한다. 그 후, 로짓 조정(Logit Adjustment)과 슈퍼로스(SuperLoss)의 조합을 통해 클래스 불균형과 레이블 노이즈를 동시에 해결하는 미세조정을 수행한다. 이 방법은 인위적인 노이즈와 불균형이 있는 CIFAR-10/100 및 실제 세계의 Clothing-1M 데이터셋에서 기존 방법들을 능가하는 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Class imbalance and noisy labels are the norm rather than the exception in many large-scale classification datasets. Nevertheless, most works in machine learning typically assume balanced and clean data. There have been some recent attempts to tackle, on one side, the problem of learning from noisy labels and, on the other side, learning from long-tailed data. Each group of methods make simplifying assumptions about the other. Due to this separation, the proposed solutions often underperform when both assumptions are violated. In this work, we present a simple two-stage approach based on recent advances in self-supervised learning to treat both challenges simultaneously. It consists of, first, task-agnostic self-supervised pre-training, followed by task-specific fine-tuning using an appropriate loss. Most significantly, we find that self-supervised learning approaches are effectively able to cope with severe class imbalance. In addition, the resulting learned representations are also remarkably robust to label noise, when fine-tuned with an imbalance- and noise-resistant loss function. We validate our claims with experiments on CIFAR-10 and CIFAR-100 augmented with synthetic imbalance and noise, as well as the large-scale inherently noisy Clothing-1M dataset.

연구 동기 및 목표

• 기존 연구에서 별도로 다루는 실세계 데이터셋에서의 장수분포 클래스 분포와 노이즈 레이블의 병렬적 도전 과제를 해결하기 위해.
• 자기지도 표현 학습이 명시적인 재가중 또는 샘플링 전략 없이도 심각한 클래스 불균형을 내재적으로 처리할 수 있는지 조사하기 위해.
• 레이블 노이즈와 장수분포 데이터에 모두 강건한 통합 훈련 파이프라인을 개발하여, 기존 방법이 깨끗한 레이블이나 균형 잡힌 데이터를 전제로 하는 한계를 극복하기 위해.
• 자기지도 사전 훈련 이후의 미세조정 단계에서 로짓 조정(Logit Adjustment, 장수분포 학습용)과 슈퍼로스(SuperLoss, 노이즈 레이블용)를 조합함으로써 효과적인 성능 향상 여부를 검증하기 위해.

제안 방법

• 이 방법은 이단계 훈련 파이프라인을 사용한다: 첫 번째 단계로, 레이블을 사용하지 않고 SimCLR, Barlow Twins, BYOL, SimSiam 등의 대비 학습 프레임워크를 활용한 자기지도 사전 훈련을 수행한다.
• 사전 훈련 동안 모델은 동일한 이미지의 증강된 뷰 간의 대비를 통해 불변 표현을 학습하며, 이는 강한 클래스 불균형 조건에서도 효과적임을 입증한다.
• 두 번째 단계에서 사전 훈련된 모델은 로짓 조정 손실(주로 우세한 클래스에 대한 편향을 완화하기 위해)과 슈퍼로스(노이즈가 있는 레이블의 기억화를 줄이기 위해)의 조합을 사용하여 미세조정된다.
• 미세조정 단계에서는 원본의 노이즈가 있는 장수분포 훈련 레이블을 사용하며, 데이터 불균형과 레이블 노이즈를 처리하기 위해 특별히 설계된 손실 함수를 적용한다.
• 최근의 준지도 학습 통찰을 활용하여, 자기지도 사전 훈련이 감독 미세조정 이전에 일반화 및 강건성을 향상시킴을 활용한다.
• 이 방법은 여러 벤치마크에서 평가된다: 인위적인 불균형과 노이즈가 있는 CIFAR-10 및 CIFAR-100, 그리고 내재된 노이즈와 장수분포 분포를 가진 실제 세계의 Clothing-1M 데이터셋.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습이 명시적인 데이터 균형 조정 없이도 장수분포 데이터 분포를 효과적으로 처리할 수 있는가?
• RQ2 로짓 조정과 슈퍼로스의 조합이 레이블 노이즈와 클래스 불균형이 동시에 존재하는 상황에서 강건성을 어떻게 향상시키는가?
• RQ3 자기지도 사전 훈련과 강건한 미세조정을 포함하는 이단계 접근 방식이 장수분포와 노이즈 레이블이 동시에 존재하는 환경에서 기존 최신 기술(SOTA) 방법을 능가하는가?
• RQ4 다양한 자기지도 학습 방법(SimCLR, BYOL, SimSiam 등)이 심각한 데이터 불균형과 레이블 노이즈 조건에서 얼마나 일반화되는가?

주요 결과

• 자기지도 사전 훈련은 클래스 불균형에 매우 강건하며, 테스트된 모든 방법(SimCLR, Barlow Twins, BYOL, SimSiam)이 심각한 불균형 비율 조건에서도 유사한 성능를 기록한다.
• 인위적인 노이즈와 불균형이 있는 CIFAR-10 및 CIFAR-100에서 제안된 이단계 방법은 최신 기술(SOTA) 기준선을 크게 능가하며, 특히 높은 노이즈 수준과 심각한 클래스 불균형 조건에서 두드러진 성능 향상을 보인다.
• 실제 세계의 Clothing-1M 데이터셋(약 38.5%의 노이즈 레이블과 약 5배의 클래스 불균형 비율)에서 이 방법은 최신 기술 정확도를 달성하여 현실적인 환경에서 강력한 일반화 능력을 입증한다.
• 미세조정 단계에서 로짓 조정과 슈퍼로스를 조합함으로써 주로 우세한 클래스에 대한 편향을 줄이고, 노이즈 레이블의 기억화를 방지하여 희귀 클래스의 성능 향상이 가능하다.
• 깨끗한 데이터나 균형 잡힌 데이터를 대상으로 설계된 기존 방법들은 노이즈와 불균형이 동시에 존재할 경우 성능이 크게 떨어지므로, 이 두 문제를 종합적으로 다루는 것이 필수적임을 시사한다.