[논문 리뷰] Better Supervisory Signals by Observing Learning Paths

Yi Ren, Shangmin Guo외 1명|arXiv (Cornell University)|2022. 03. 04.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 학습 중 학습 경로를 관찰함으로써 보조 신호를 향상시키는 지식 정복 방법인 Filter-KD를 제안한다. 교사 네트워크 출력에 지수이동평균(EMA)을 적용하여 딱딱한 샘플에서 노이즈가 있는 예측을 안정화함으로써 일반화 성능을 햖고, 특히 레이블 노이즈가 있는 상황에서 CIFAR-100과 CIFAR-10에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Better-supervised models might have better performance. In this paper, we first clarify what makes for good supervision for a classification problem, and then explain two existing label refining methods, label smoothing and knowledge distillation, in terms of our proposed criterion. To further answer why and how better supervision emerges, we observe the learning path, i.e., the trajectory of the model's predictions during training, for each training sample. We find that the model can spontaneously refine "bad" labels through a "zig-zag" learning path, which occurs on both toy and real datasets. Observing the learning path not only provides a new perspective for understanding knowledge distillation, overfitting, and learning dynamics, but also reveals that the supervisory signal of a teacher network can be very unstable near the best points in training on real tasks. Inspired by this, we propose a new knowledge distillation scheme, Filter-KD, which improves downstream classification performance in various settings.

연구 동기 및 목표

• 지식 정복이 단순한 레이블 스무딩을 넘어서 모델 성능을 향상시키는 이유를 이해하는 것.
• 학습 경로 개념을 사용하여 보조 신호가 학습 도중 어떻게 변화하는지 분석하는 것.
• 최적의 학습 점 근처에서 교사 네트워크 출력의 불안정성이 열악한 보조 신호의 원인임을 규명하는 것.
• 학습 경로를 기반으로 EMA를 적용하여 노이즈가 있는 예측을 걸러내는 방법을 개발하는 것.
• 레이블 수정 없이도 모델 동역학을 통해 자연스럽게 더 나은 보조 신호가 유도됨을 보여주는 것.

제안 방법

• 저자들은 새로운 기준을 제안한다: 좋은 보조 신호는 진짜 클래스 분포 p*(y|x)와 L2 거리가 최소가 되어야 한다.
• 그들은 '나쁜' 레이블을 가진 모델이 '진자형' 학습 경로를 따르는 것을 관찰한다—먼저 진짜 분포 쪽으로 움직이고, 이후 일항 레이블로 수렴한다.
• 이 경로는 특히 모호하거나 노이즈가 있는 샘플에서 교사 출력이 수렴 근처에서 매우 불안정하다는 것을 드러낸다.
• Filter-KD는 학습 도중 교사의 출력 예측에 지수이동평균(EMA)을 적용하여 스무딩되고 더 안정적인 보조 신호를 생성한다.
• 이 방법은 교사의 학습 과정을 수정하지 않으며, EMA 출력을 학생 정복을 위한 소프트 레이블로 사용한다.
• 이 접근법은 CIFAR-10과 CIFAR-100에서 실험적으로 검증되었으며, 표준 KD와 자기 정복보다 일관되게 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 교사와 학생이 동일할 때도 지식 정복이 성능 향상에 기여하는 이유는 무엇인가?
• RQ2 학습 도중 모델 예측은 어떻게 변화하며, 어려운 샘플이나 노이즈가 있는 샘플에서 어떤 패턴이 나타나는가?
• RQ3 학습 경로의 동역학이 정복 과정에서 더 나은 보조 신호가 유도되는지를 설명할 수 있는가?
• RQ4 수렴 근처에서 교사 출력의 불안정성은 정복의 제약 요소인가?
• RQ5 EMA를 통해 교사의 출력 궤적을 스무딩하면 후속 성능 향상에 기여할 수 있는가?

주요 결과

• Filter-KD는 일항 레이블 학습을 통해 CIFAR-100에서 95.66%의 테스트 정확도를 달성하여 표준 KD(95.30%)와 ESKD(95.29%)를 능가한다.
• CIFAR-10에서는 Filter-KD가 80.23%의 테스트 정확도를 기록하여 OHT(78.02%)와 KD(78.64%)보다 뚜렷하게 높다.
• 이 방법은 CIFAR-100에서 기대 캘리브레이션 오차(ECE)를 0.006으로 줄여 더 나은 신뢰도 캘리브레이션을 보여준다.
• '진자형' 학습 경로는 토이 데이터셋과 실제 데이터셋 모두에서 관찰되었으며, 이는 모델이 학습 도중 레이블을 동적으로 개선한다는 것을 시사한다.
• Filter-KD는 레이블 노이즈나 모호한 샘플이 많은 데이터셋에서 특히 성능 향상을 보이며, 강건성을 입증한다.
• 저자들은 모델 파라미터에 EMA를 적용하는 것보다 출력에 EMA를 적용하는 것이 성능이 뛰어나다는 것을 발견하여, 출력 스무딩이 보조 신호에 더 효과적임을 시사한다.