[논문 리뷰] Boosting Co-teaching with Compression Regularization for Label Noise

Yingyi Chen, Xi Shen외 2명|arXiv (Cornell University)|2021. 04. 28.

Machine Learning and Data Classification참고 문헌 29인용 수 7

한 줄 요약

이 논문은 순서화된 특징 학습을 위한 압축 정규화인 Nested Dropout와 Co-teaching를 조합한 이단계 방법을 제안한다. 이는 이미지 분류에서 레이블 노이즈에 대한 강건성을 향상시킨다. 순서화된 특징를 통한 신호 대 노이즈 분리와 반복적인 청소된 샘플 선택을 활용함으로써, Clothing1M에서 74.9%의 최고 성능을 기록하고 ANIMAL-10N에서는 84.1%를 달성하여, DivideMix 및 PLC와 같은 이전 방법들을 능가한다.

ABSTRACT

In this paper, we study the problem of learning image classification models in the presence of label noise. We revisit a simple compression regularization named Nested Dropout. We find that Nested Dropout, though originally proposed to perform fast information retrieval and adaptive data compression, can properly regularize a neural network to combat label noise. Moreover, owing to its simplicity, it can be easily combined with Co-teaching to further boost the performance. Our final model remains simple yet effective: it achieves comparable or even better performance than the state-of-the-art approaches on two real-world datasets with label noise which are Clothing1M and ANIMAL-10N. On Clothing1M, our approach obtains 74.9% accuracy which is slightly better than that of DivideMix. On ANIMAL-10N, we achieve 84.1% accuracy while the best public result by PLC is 83.4%. We hope that our simple approach can be served as a strong baseline for learning with label noise. Our implementation is available at https://github.com/yingyichen-cyy/Nested-Co-teaching.

연구 동기 및 목표

• 실제 웹 크롤링 데이터에서 흔히 발생하는 노이즈가 있는 레이블을 가진 대규모 데이터셋에서 딥 네ural 네트워크를 훈련하는 데 도전하는 것.
• 압축 정규화, 특히 Nested Dropout이 레이블 노이즈와 함께 학습할 때 강력한 베이스라인으로 기능할 수 있는지 조사하는 것.
• Nested Dropout를 사용하여 Co-teaching의 성능을 향상시켜, 노이즈 있는 환경에서의 샘플 선택 신뢰도를 높이는 것.
• 향후 레이블 노이즈와 함께 학습하는 연구를 위한 단순하고 효과적이며 쉽게 구현 가능한 기반 모델을 제공하는 것.

제안 방법

• Nested Dropout을 적용하여 순서화된 특징 표현을 학습하며, 각 레이어에서 첫 번째 k개의 특징 채널만 유지한다. 여기서 k는 가우시안 유사 분포에서 샘플링되며, 정보가 풍부한 특징을 우선시한다.
• k에 대한 매개변수화된 분포, p_k ∝ exp(−k²/(2σ²_nest))를 사용하여, 훈련 중에 정보가 적은 특징을 적응적이고 구조적으로 제거한다.
• 1단계에서는 Nested Dropout를 적용한 두 개의 별도 네트워크를 훈련하여, 이후 Co-teaching 정밀 조정을 위한 신뢰할 수 있는 기초 모델을 확보한다.
• 2단계에서는 Co-teaching를 사용하여 두 개의 사전 훈련된 모델을 정밀 조정하며, 각 네트워크는 상대방의 예측에서 낮은 손실을 가진 샘플만을 사용하여 자신을 업데이트한다.
• 압축 정규화와 샘플 선택 전략을 통합하여, 복잡한 초모수 조정 없이도 두 접근 방식의 장점을 결합한다.
• 이 방법은 Clothing1M에서 ResNet-50, ANIMAL-10N에서 VGG-19에 적용되었으며, 표준 훈련 프로토콜과 Co-teaching 단계에서 조정된 학습률을 사용하였다.

실험 결과

연구 질문

• RQ1 원래 데이터 압축을 위해 설계된 Nested Dropout이 레이블 노이즈 영향을 완화하기 위해 딥 네트워크를 효과적으로 정규화할 수 있는가?
• RQ2 Nested Dropout를 통해 학습된 순서화된 특징 표현이 노이즈가 많은 데이터에서 더 나은 신호 대 노이즈 분리에 기여하는가?
• RQ3 Nested Dropout과 Co-teaching의 조합이 실제 노이즈가 있는 데이터셋에서 기존 최고 성능 방법을 능가할 수 있는가?
• RQ4 σ_nest와 같은 초모수 선택에 대해 제안된 방법의 성능가 얼마나 강건한가?

주요 결과

• Clothing1M에서 이 방법은 74.9%의 top-1 정확도를 기록하여 최고 성능을 보인 DivideMix 방법을 능가한다.
• ANIMAL-10N에서는 84.1%의 정확도를 달성하여, PLC의 공개 최고 성능인 83.4%보다 0.7%p 높다.
• Nested Dropout만으로도 표준 교차 엔트로피 훈련보다 성능 향상을 보이며, 원래 특징 채널의 1% 미만을 사용함에도 표준 Dropout보다 뛰어나다.
• 제거 분석을 통해 Nested Dropout의 성능 향상 효과가 다양한 σ_nest 값에 대해 강건함을 확인하였으며, 최적의 k* 값은 효율적인 특징 활용을 시사한다.
• Co-teaching 정밀 조정은 모든 설정에서 일관되게 성능 향상을 이끌어내어, 이중 훈련 전략의 효과성을 입증한다.
• 최종 모델은 단순하고 효율적이며, 복잡한 아키텍처나 초모수 조정 없이도 잘 알려진 두 기법을 원칙적으로 조합하였다.