[논문 리뷰] Countering Noisy Labels By Learning From Auxiliary Clean Labels

Tsung Wei Tsai, Chongxuan Li외 1명|arXiv (Cornell University)|2019. 05. 23.

Machine Learning and Data Classification참고 문헌 59인용 수 6

한 줄 요약

이 논문은 자기지도 학습을 통한 회전 예측을 보조 정답 레이블로 활용하여 노이즈가 많은 레이블에 대한 강건성을 향상시키는 통합 프레임워크인 RDCR을 제안한다. 일致성 정규화와 회전 예측를 통합하여 노이즈에 강건한 표현을 학습한다. RDCR는 특히 정답 레이블이 제한적인 경우 높은 노이즈 상황에서 최신 기술보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

We consider the learning from noisy labels (NL) problem which emerges in many real-world applications. In addition to the widely-studied synthetic noise in the NL literature, we also consider the pseudo labels in semi-supervised learning (Semi-SL) as a special case of NL. For both types of noise, we argue that the generalization performance of existing methods is highly coupled with the quality of noisy labels. Therefore, we counter the problem from a novel and unified perspective: learning from the auxiliary clean labels. Specifically, we propose the Rotational-Decoupling Consistency Regularization (RDCR) framework that integrates the consistency-based methods with the self-supervised rotation task to learn noise-tolerant representations. The experiments show that RDCR achieves comparable or superior performance than the state-of-the-art methods under small noise, while outperforms the existing methods significantly when there is large noise.

연구 동기 및 목표

• 노이즈가 많은 레이블 하에서 딥 러닝의 일반화 성능이 열 劣하는 문제를 다루며, 특히 준지도 학습 및 합성 노이즈 설정에서의 문제를 해결한다.
• 기존 방법들이 노이즈가 많은 레이블 품질에 의존하는 문제를 해결하기 위해 자기지도 학습을 통해 보조 정답 레이블을 도입한다.
• 단일 프레임워크 내에서 합성 대칭/비대칭 노이즈와 가짜 레이블 노이즈를 통합적으로 다루는 것을 목표로 한다.
• 회전 예측에서 유도된 보조 지도 정보를 통해 노이즈가 많은 레이블을 분리함으로써 데이터 정제 및 표현 학습을 향상시킨다.
• 자기지도 학습을 통한 회전 예측이 모델의 강건성을 높이는 강력한 정규화 요소로 작용함을 입증한다. 이는 정답 레이블이 극히 적은 경우에도 효과적이다.

제안 방법

• 일致성 기반 학습과 자기지도 학습을 통한 회전 예측 작업을 통합한 다중 과제 프레임워크인 회전-분리 일치 정규화(RDCR)를 제안한다.
• 증강된 입력의 회전 각도를 보조 정답 레이블로 사용하여 모델을 정규화하고 노이즈가 많은 레이블에서 분리한다.
• 다양한 증강에 걸쳐 일致한 예측을 유도함으로써 강건성을 확보하기 위해 일치성 정규화를 통합한다.
• 훈련 안정성과 노이즈 내성 향상을 위해 그룹 정규화(GN)와 가중치 표준화(WS)를 활용한다.
• 분류, 회전 예측, 일치성 정규화를 동시에 최적화하는 엔드 투 엔드 훈련 방식을 채택한다.
• 모든 입력에 대해 회전 지도를 제공함으로써 진정한 레이블의 소량이 존재하는 상황에서도 효과적인 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 통한 회전 예측이 노이즈가 많은 레이블에 대한 강건성을 향상시키는 신뢰할 수 있는 보조 정답 레이블로 기능할 수 있는가?
• RQ2 일치성 정규화와의 통합이 고노이즈 수준에서 일반화 성능을 어떻게 향상시키는가?
• RQ3 제안된 RDCR 프레임워크가 합성 노이즈 및 준지도 학습 설정 모두에서 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 소량의 정답 레이블이 존재할 경우, 보조 회전 지도의 효과가 얼마나 증폭되는가?
• RQ5 모든 입력에서 유도된 보조 지도 정보(회전 예측을 통해)는 관측된 레이블에 대한 의존도를 줄이고 데이터 정제를 향상시킬 수 있는가?

주요 결과

• RDCR는 소량의 노이즈 상황에서도 최신 기술과 유사하거나 뛰어난 성능을 기록하며, 특히 노이즈가 높은 경우에 두드러진 성능 향상을 보인다.
• 4000개의 레이블을 가진 CIFAR-10에서 RDCR은 GN+WS를 사용하여 기준 모델의 테스트 오차 9.05%를 7.45%로 감소시켜 절대 오차 2.5% 감소를 달성했다.
• 레이블의 1/4만 사용함에도 불구하고, 기준 모델가 4000개의 레이블을 사용한 성능을 뛰어넘는 등 높은 샘플 효율성을 입증했다.
• 제거 실험 결과, GN+WS가 가장 큰 정확도 향상을 보였으며, 배치 정규화(BN) 대비 3.38% 향상되어 노이즈 내성에 기여하는 핵심 요소로 확인되었다.
• RDCR는 다양한 정규화 레이어에서 일致성 있는 성능 향상을 보였으며, 특히 GN+WS 조합에서 가장 큰 향상을 보였다.
• 고노이즈 환경에서 오차율을 크게 감소시켰으며, 예를 들어 CIFAR-100에서 4000개의 레이블을 사용할 경우 오차율을 33.62%에서 30.62%로 감소시켜 강건성을 입증했다.