[논문 리뷰] Model and Data Agreement for Learning with Noisy Labels

Yuhang Zhang, Weihong Deng외 4명|arXiv (Cornell University)|2022. 12. 02.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 오차 누적 문제를 모델과 데이터의 관점에서 모두 고려하여, 노이즈가 많은 레이블 학습을 위한 새로운 방법인 모델 및 데이터 일치(Model and Data Agreement, MDA)를 제안한다. 뒤집힌 이미지를 사용하여 노이즈 있는 샘플을 탐지하고, 평균 점 앙상블을 활용하여 모델의 강건성을 향상시킴으로써, CIFAR-10, CIFAR-100, Clothing1M에서 최신 기술(SOTA) 수준의 성능을 달성한다. 특히 고노이즈 비율 조건에서 뛰어난 성능을 보이며, 기존 방법들과의 호환성을 통해 추가 성능 향상이 가능하다.

ABSTRACT

Learning with noisy labels is a vital topic for practical deep learning as models should be robust to noisy open-world datasets in the wild. The state-of-the-art noisy label learning approach JoCoR fails when faced with a large ratio of noisy labels. Moreover, selecting small-loss samples can also cause error accumulation as once the noisy samples are mistakenly selected as small-loss samples, they are more likely to be selected again. In this paper, we try to deal with error accumulation in noisy label learning from both model and data perspectives. We introduce mean point ensemble to utilize a more robust loss function and more information from unselected samples to reduce error accumulation from the model perspective. Furthermore, as the flip images have the same semantic meaning as the original images, we select small-loss samples according to the loss values of flip images instead of the original ones to reduce error accumulation from the data perspective. Extensive experiments on CIFAR-10, CIFAR-100, and large-scale Clothing1M show that our method outperforms state-of-the-art noisy label learning methods with different levels of label noise. Our method can also be seamlessly combined with other noisy label learning methods to further improve their performance and generalize well to other tasks. The code is available in https://github.com/zyh-uaiaaaa/MDA-noisy-label-learning.

연구 동기 및 목표

• 모델과 데이터의 관점에서 오차 누적 문제를 동시에 해결하기 위해 노력한다.
• 기존 방법들이 실패하는 고노이즈 비율 조건에서도 강건성을 향상시키기 위해 노력한다.
• 작은 손실 샘플 선택에 대한 의존도를 줄여, 잘못된 샘플을 선택함으로써 오차가 누적되는 것을 방지한다.
• 기존의 노이즈 있는 레이블 학습 프레임워크와 호환되어 즉각적인 통합이 가능한 방법을 개발한다.
• 이미지 분류를 넘어 얼굴 표정 인식과 같은 대칭 데이터 작업으로의 일반화를 목표로 한다.

제안 방법

• 두 모델을 강건한 손실 함수를 사용하여 조합하고, 선택되지 않은 샘플의 정보를 활용하기 위해 평균 점 앙상블을 도입한다.
• 원본 이미지가 아닌 뒤집힌 이미지의 손실 값을 사용하여 작은 손실 샘플을 식별하고 선택함으로써, 데이터 수준의 오차 누적를 감소시킨다.
• 뒤집힌 이미지의 의미적 불변성 특성을 활용한다: 모델는 원본 노이즈 있는 샘플을 기억하지만, 뒤집힌 버전은 기억하지 않기 때문에, 더 나은 노이즈 샘플 탐지가 가능하다.
• 뒤집힌 이미지 기반 선택 전략을 적용하여 깨끗한 샘플을 탐지하고, 잘못된 낮은 손실을 기록하는 노이즈 있는 샘플을 선택하는 것을 방지한다.
• 원본 이미지에서 분류 손실 및 분산 손실을 평균 점 앙상블과 결합하여, 두 모델을 협업적으로 강건하게 훈련시킨다.
• Co-teaching와 같은 기존 방법들과의 통합을 용이하게 하기 위해, MDA의 구성 요소로 샘플 선택 및 손실 함수를 대체한다.

실험 결과

연구 질문

• RQ1 데이터 관점에서 샘플 선택 전략을 재고함으로써, 노이즈 있는 레이블 학습에서의 오차 누적 문제를 줄일 수 있는가?
• RQ2 선택되지 않은 샘플의 정보를 활용함으로써, 모델 앙상블 전략이 레이블 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ3 노이즈 있는 레이블 설정에서, 뒤집힌 이미지의 손실 값을 사용한 샘플 선택 전략이 기존의 표준 데이터 증강 기법보다 우월한가?
• RQ4 제안된 방법이 이미지 분류를 넘어 얼굴 표정 인식과 같은 다른 대칭 데이터 작업으로 일반화될 수 있는가?
• RQ5 MDA는 기존 최신 기술(SOTA) 방법들과 효과적으로 조합되어 성능 향상을 더욱 높일 수 있는가?

주요 결과

• 80%의 레이블 노이즈 조건에서 JoCoR가 완전히 실패하는 CIFAR-10 및 CIFAR-100에서 MDA는 JoCoR를 크게 앞서 성능을 냈다.
• 고노이즈 조건에서의 Clothing1M에서 MDA는 최신 기술(SOTA) 성능을 달성하여 대규모 데이터셋에 대한 확장성도 입증했다.
• 뒤집힌 노이즈 탐지 모듈만으로도 표준 데이터 증강 기법보다 성능 향상을 보였으며, 깨끗한 샘플을 탐지하는 데 효과적임을 입증했다.
• 선택되지 않은 샘플과 더 안정적인 손실 함수를 활용함으로써 평균 점 앙상블이 오차 누적를 줄이고 모델의 강건성을 향상시켰다.
• Co-teaching와 결합했을 때, CIFAR-10 및 CIFAR-100의 모든 노이즈 수준에서 최고의 성능을 기록하여, MDA의 즉각적 통합 가능성(플러그 앤 플레이 호환성)을 확인했다.
• RAF-DB에서 얼굴 표정 인식 작업으로의 일반화 성능도 뛰어나, 다양한 노이즈 수준에서 Co-teaching 및 다른 최신 기술(FER) 방법들을 능가했다.