[논문 리뷰] Blind Knowledge Distillation for Robust Image Classification

Timo Kaiser, Lukas Ehmann외 2명|arXiv (Cornell University)|2022. 11. 21.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 땅에 대한 지식 정복을 제안한다. 이는 지도 학습 관련 로짓을 마스킹하여 훈련 중 과적합의 시작 시점을 감지하는 새로운 교사-학생 프레임워크로, 적응형 조기 정지와 오츠의 알고리즘을 통한 노이즈 추정을 가능하게 한다. 이는 손실 가중치를 추정된 레이블 손상 기반으로 보정하여, 수동 웜업 단계 없이 CIFAR-N과 같은 노이즈가 있는 이미지 데이터셋에서 강건성을 향상시키며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Optimizing neural networks with noisy labels is a challenging task, especially if the label set contains real-world noise. Networks tend to generalize to reasonable patterns in the early training stages and overfit to specific details of noisy samples in the latter ones. We introduce Blind Knowledge Distillation - a novel teacher-student approach for learning with noisy labels by masking the ground truth related teacher output to filter out potentially corrupted knowledge and to estimate the tipping point from generalizing to overfitting. Based on this, we enable the estimation of noise in the training data with Otsus algorithm. With this estimation, we train the network with a modified weighted cross-entropy loss function. We show in our experiments that Blind Knowledge Distillation detects overfitting effectively during training and improves the detection of clean and noisy labels on the recently published CIFAR-N dataset. Code is available at GitHub.

연구 동기 및 목표

• 실제 레이블 노이즈가 있는 이미지 데이터셋에서 딥 네URAL 네트워크를 훈련시키는 데 도전하는 것. 이는 모델의 일반화 성능을 떨어뜨린다.
• 노이즈가 있는 데이터에서 일반화에서 과적합으로의 전환점을 감지하여 적응형 조기 정지를 가능하게 하는 것.
• 사전 정의된 임계값이나 웜업 단계에 의존하지 않고 각 훈련 샘플이 손상되었는지 또는 깨끗한지의 가능성을 추정하는 것.
• 노이즈 추정에 기반한 손실 보정 메커니즘을 통해 고노이즈 수준에서도 분류 정확도를 향상시키는 것.
• 표준 분류 파이프라인에 쉽게 통합될 수 있는 플러그 앤 플레이 방식의 강건한 훈련 방법을 제공하는 것.

제안 방법

• 이 방법은 학생 네트워크가 교사의 보완 로짓에서만 훈련되며, 지도 학습 관련 로짓을 제외함으로써 레이블 노이즈에 대한 과적합을 방지하는 교사-학생 프레임워크를 사용한다.
• 학습 중 학생 네트워크의 예측에서 평균 최대 확률을 모니터링하여 과적합의 전환점을 식별한다.
• 전이점에서 지도 레이블 관련 확률의 분포에 오츠의 알고리즘을 적용하여 깨끗한 샘플과 노이즈가 있는 샘플을 자동으로 분할한다.
• 예측된 레이블 손상 가능성에 따라 결정되는 샘플 가중치를 사용하는 수정된 가중 카오스 엔트로피 손실을 사용한다.
• 교사와 학생 네트워크의 조합된 확률이 최종 예측으로 사용되며, 이는 개별적으로 사용할 경우보다 우수한 성능을 보인다.
• 이 프레임워크는 훈련 중에 온라인으로 작동하며, 고정된 하이퍼파rameter나 수동 웜업 단계 없이 노이즈를 동적으로 추정하고 훈련을 조정한다.

실험 결과

연구 질문

• RQ1 고정된 조기 정지 스케줄에 의존하지 않고, 훈련 중에 노이즈가 있는 레이블 세부 정보에 대한 과적합의 시작 시점을 자동으로 감지할 수 있는가?
• RQ2 전이점에서 예측 신뢰도 기반으로 오츠의 알고리즘이 깨끗한 샘플과 노이즈가 있는 샘플을 얼마나 효과적으로 분할할 수 있는가?
• RQ3 추정된 레이블 손상에 기반한 손실 보정이 실세계의 노이즈가 있는 데이터셋인 CIFAR-N에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 지도 레이블 로짓에 접근할 수 없는 학생 네트워크가 일반화 가능한 특징을 학습함으로써 여전히 높은 정확도를 달성할 수 있는가?
• RQ5 교사와 학생 예측을 조합하면 개별적으로 사용할 경우보다 전체적인 강건성이 얼마나 향상되는가?

주요 결과

• 블라인드 지식 정복은 일반화에서 과적합으로의 전환점을 성공적으로 감지하며, 이 시점에서 레이블 감지에 대한 F1 점수가 최고에 이른다.
• 수동 웜업 단계 없이도 CIFAR-10N에서 최신 기술 수준의 성능을 달성한다. 특히 고노이즈 수준에서 두드러진다.
• 조합된 예측 확률 $P_A$ 는 전이점 근처에서 교사나 학생 네트워크를 개별적으로 사용할 경우보다 뛰어난 성능을 보인다.
• 교사가 과적합하기 시작한 후에도 학생 네트워크가 높은 정확도를 유지한다. 이는 훈련 중에 지도 레이블 로짓이 제외되었기 때문이다.
• 이 프레임워크는 CIFAR-N의 '가장 나쁜' 노이즈 설정에서 분류 정확도를 향상시켜 실세계 레이블 노이즈에 대한 강건성을 입증한다.
• 오츠의 알고리즘은 전이점에서 $P(y=\overline{y}|x)$ 의 분포에 기반하여 깨끗한 레이블과 노이즈가 있는 레이블을 효과적으로 분리하여 정확한 노이즈 추정을 가능하게 한다.