[논문 리뷰] SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels

Dae-Hwan Kim, Kwangrok Ryoo외 2명|arXiv (Cornell University)|2022. 11. 20.

Machine Learning and Data Classification인용 수 4

한 줄 요약

SplitNet는 학습 중 노이즈 있는 레이블(LNL)에서 깨끗한-노이즈 레이블 분할을 위한 학습 가능한 엔드 투 엔드 모듈을 제안하며, 분할 신뢰도를 사용해 반감성 학습의 임계값을 동적으로 조정한다. 다양한 벤치마크에서 높은 노이즈 비율 조건에서도 단일 모델과 최소한의 하이퍼파라미터 튜닝으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Annotating the dataset with high-quality labels is crucial for performance of deep network, but in real world scenarios, the labels are often contaminated by noise. To address this, some methods were proposed to automatically split clean and noisy labels, and learn a semi-supervised learner in a Learning with Noisy Labels (LNL) framework. However, they leverage a handcrafted module for clean-noisy label splitting, which induces a confirmation bias in the semi-supervised learning phase and limits the performance. In this paper, we for the first time present a learnable module for clean-noisy label splitting, dubbed SplitNet, and a novel LNL framework which complementarily trains the SplitNet and main network for the LNL task. We propose to use a dynamic threshold based on a split confidence by SplitNet to better optimize semi-supervised learner. To enhance SplitNet training, we also present a risk hedging method. Our proposed method performs at a state-of-the-art level especially in high noise ratio settings on various LNL benchmarks.

연구 동기 및 목표

• 높은 노이즈 비율에서의 일반화 능력 부족과 확인 편향을 겪는 수작업 기반의 깨끗-노이즈 레이블 분할 방법의 한계를 해결한다.
• 예측 이력과 손실 분포를 활용해 기존의 GMM 기반 방법을 초월하는 표본 구분 능력을 향상시키는 학습 가능한 데이터 기반 모듈(SplitNet)을 개발한다.
• 분할 신뢰도를 활용한 동적 임계값 설정 메커니즘을 설계하여 반감성 학습의 안정성을 높이고 노이즈 있는 환경에서의 과적합을 줄인다.
• 모델 신뢰도와 추정된 노이즈 수준에 기반해 학습 커리큘럼을 적응적으로 조정하는 리스크 헤징을 도입함으로써 노이즈 비율에 민감하지 않은 강건한 훈련을 가능하게 한다.
• 단일 모델과 고정된 하이퍼파라미터로 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하여 실세계 적용 가능성 향상

제안 방법

• 예측 이력과 개별 샘플의 손실을 입력으로 받아 엔드 투 엔드로 학습 가능한 깊은 신경망인 SplitNet을 도입하여 깨끗/노이즈 레이블을 예측한다.
• 분할 신뢰도—예측의 확신도를 나타내는 학습 가능한 점수—를 사용해 반감성 학습에서 가짜 레이블링의 임계값을 동적으로 설정함으로써 고정 임계값을 대체한다.
• 메인 네트워크와 SplitNet이 번갈아가며 갱신되는 교차 학습 프레임워크를 구현한다: 메인 네트워크는 예측과 손실을 제공하고, SplitNet은 깨끗한 데이터와 신뢰도 점수를 공급한다.
• SplitNet 사전 훈련 중 데이터 품질을 향상시키기 위해 K-폴드 크로스 필터링을 적용하여 저신뢰도 샘플을 제거함으로써 감독 신호의 노이즈를 줄인다.
• 리스크 헤징을 도입: 확신 있는 깨끗한 및 노이즈 샘플을 우선순위로 하는 커리큘럼 학습 전략으로, SplitNet의 강건성 향상과 확인 편향 감소를 도모한다.
• 분할 신뢰도 기반 동적 임계값을 최적화하여 반감성 학습에서 높은 신뢰도를 가진 가짜 레이블만 사용함으로써 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고도로 노이즈가 섞인 환경에서 GMM 같은 수작업 기반 방법보다 학습 가능한 신경망 기반 모듈이 깨끗한 샘플과 노이즈 있는 샘플을 더 잘 구분할 수 있는가?
• RQ2 예측 이력을 손실만 사용하는 방법과 비교해 레이블 분할에 통합할 경우, 특히 모호한 샘플에 대해 성능 향상이 어떻게 이루어지는가?
• RQ3 분할 신뢰도 기반 동적 임계값 설정이 노이즈 있는 레이블 환경에서 반감성 학습의 안정성과 정확도에 얼마나 기여하는가?
• RQ4 노이즈 비율을 명시적으로 추정할 필요 없이 모델의 신뢰도와 추정된 노이즈 수준에 기반해 적응적인 자연스러운 커리큘럼을 형성하는 리스크 헤징이 모델의 강건성을 향상시키는가?
• RQ5 제안된 프레임워크는 노이즈 비율에 관계없이 단일 모델과 고정된 하이퍼파라미터로 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• CIFAR-100에서 90%의 레이블 노이즈 조건 하에서 SplitNet은 72.1%의 Top-1 정확도를 기록하며, DivideMix(68.4%)와 AugDesc(69.2%)를 크게 앞서며 최신 기술 수준을 달성한다.
• 단일 모델과 고정된 하이퍼파라미터로 20%, 40%, 60%, 80%, 90%의 모든 노이즈 비율 조건에서 CIFAR-100에서 뛰어난 성능을 보이며, 이는 이전 방법들이 재튜닝이 필요했던 점과 대비된다.
• CIFAR-100에서 90% 노이즈 조건 하에서의 추론 분석 결과, 분할 신뢰도 기반 동적 임계값 설정은 고정 임계값(0.5 또는 0.95) 대비 잘못된 가짜 레이블링을 20–30% 감소시킨다.
• K ≥ 8인 K-폴드 크로스 필터링은 성능을 안정화시키며, 80% 및 90% 노이즈 설정에서 K=8에서 정확도가 포화 상태에 도달함을 보여주어 분할에 대한 강건성을 입증한다.
• 훈련 시간이 효율적이다: CIFAR-10에서 20% 노이즈 조건 하에서 SplitNet은 8.2시간 내에 훈련을 완료하며, AugDesc(8.7시간)를 능가하고 DivideMix와도 경쟁 가능하다.
• 추론 분석 결과, SplitNet에서 배치 정규화나 예측 차이를 제거할 경우 훈련 실패 또는 성능 저하가 발생함을 확인하여 아키텍처 설계 선택의 타당성을 검증한다.