[논문 리뷰] Self-Distillation from the Last Mini-Batch for Consistency Regularization

Yiqing Shen, Liwu Xu외 3명|arXiv (Cornell University)|2022. 03. 30.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 DLB(Distillation from the Last Mini-Batch)를 제안하며, 이는 계산 비용이 적고 메모리가 적은 자기 지식 정복 방법으로, 이전 미니배치의 소프트 레이블을 사용해 훈련을 정규화함으로써 모델의 일관성과 레이블 노이즈에 대한 강건성을 향상시킨다. 아키텍처 변경 없이도 사전 훈련된 교사 모델이 없어도 다양한 아키텍처에서 최신 기술 성능을 달성한다.

ABSTRACT

Knowledge distillation (KD) shows a bright promise as a powerful regularization strategy to boost generalization ability by leveraging learned sample-level soft targets. Yet, employing a complex pre-trained teacher network or an ensemble of peer students in existing KD is both time-consuming and computationally costly. Various self KD methods have been proposed to achieve higher distillation efficiency. However, they either require extra network architecture modification or are difficult to parallelize. To cope with these challenges, we propose an efficient and reliable self-distillation framework, named Self-Distillation from Last Mini-Batch (DLB). Specifically, we rearrange the sequential sampling by constraining half of each mini-batch coinciding with the previous iteration. Meanwhile, the rest half will coincide with the upcoming iteration. Afterwards, the former half mini-batch distills on-the-fly soft targets generated in the previous iteration. Our proposed mechanism guides the training stability and consistency, resulting in robustness to label noise. Moreover, our method is easy to implement, without taking up extra run-time memory or requiring model structure modification. Experimental results on three classification benchmarks illustrate that our approach can consistently outperform state-of-the-art self-distillation approaches with different network architectures. Additionally, our method shows strong compatibility with augmentation strategies by gaining additional performance improvement. The code is available at https://github.com/Meta-knowledge-Lab/DLB.

연구 동기 및 목표

• 기존 지식 정복 기법에서 요구하는 사전 훈련된 교사 모델이나 앙상블 모델에 의존하는 고비용의 계산 및 메모리 사용 문제를 해결하기 위해.
• 기존 자기 지식 정복 기법의 한계, 즉 아키텍처 수정, 모델 스냅샷에 의한 메모리 오버헤드, 계산의 중복성 문제를 해결하기 위해.
• 간단하고 효율적이며 병렬 처리가 가능한 자기 지식 정복 프레임워크를 개발하여 훈련의 안정성과 일관성을 향상시키기 위해.
• 레이블 노이즈에 대한 모델의 강건성 향상과 데이터 증강 전략과의 호환성을 높이기 위해.
• 아키텍처 변경 없이 다양한 네트워크 아키텍처에 적용 가능한 즉시 사용 가능한 정규화 방법을 제공하기 위해.

제안 방법

• 각 배치의 절반을 이전 반복과 겹치고 나머지 절반을 다음 반복과 겹치도록 미니배치 샘플링을 재정렬하여 시간적 일관성 확보.
• 이전 미니배치에서 실시간으로 생성된 소프트 레이블을 현재 배치의 지식 정복 타겟으로 사용.
• 이전 미니배치의 모델 예측을 소프트 레이블 스무딩을 위해 온도 스케일링을 사용해 일관성 손실 적용.
• 균형 계수 α를 통해 교차 엔트로피 손실과 지식 정복 손실을 통합하여, 각 배치당 한 번의 순전파와 역전파로 종료되는 엔드 투 엔드 훈련 가능.
• 모델 스냅샷이나 전체 기록을 저장하지 않고 오직 이전 미니배치의 소프트 타겟만 저장하여 추가 메모리 사용 방지.
• 증강된 시각 간의 일관성 있는 예측을 활용해 데이터 증강과의 원활한 통합 가능.

Figure 1 : The overall architecture of our DLB. We write $\mathcal{B}_{t}$ , $\phi_{t}$ , $\theta_{t}$ for a mini-batch of data samples, random augmentation and the trainable parameters indexed in the $t$ th iteration.

실험 결과

연구 질문

• RQ1 사전 훈련된 교사 모델과 아키텍처 수정 없이도 높은 효율성과 성능을 유지할 수 있는 자기 지식 정복 방법을 설계할 수 있는가?
• RQ2 다른 자기 지식 정복 기반 모델과 비교해, 오직 이전 미니배치의 소프트 레이블만을 사용할 경우 훈련의 안정성과 일관성 향상 정도는 어떠한가?
• RQ3 제안된 방법이 훈련 데이터의 레이블 노이즈에 대해 어느 정도 강건성을 향상시키는가?
• RQ4 데이터 증강 기법과 결합했을 때도 이 방법이 여전히 효과적인가?
• RQ5 온도 및 손실 가중치와 같은 하이퍼파라미터에 대해 이 방법의 민감도는 어느 정도인가?

주요 결과

• DLB는 CIFAR-10, CIFAR-100, Tiny ImageNet에서 최신 기술 자기 지식 정복 기법을 초월하며, CIFAR-100에서 ResNet-32 기준으로 26.00%의 Top-1 오차율을 달성했다.
• 60%의 레이블 노이즈가 있는 CIFAR-100에서, DLB는 기준 모델 대비 정확도를 4.44% 향상시켜 강력한 노이즈에 대한 강건성을 입증했다.
• 10% 레이블 노이즈 조건에서 2.38%의 정확도 향상을 기록했으며, 노이즈 비율이 높아질수록 성능 향상도 증가함을 확인했다.
• DLB를 데이터 증강 기법과 조합하면 추가적인 성능 향상이 이루어져 상호 보완적이고 독립적인 이점임을 입증했다.
• 아블레이션 스터디 결과, 지식 정복 손실을 제거할 경우 성능이 크게 악화되었으며, ResNet-32의 오차율은 26.00%에서 28.01%로 상승했다.
• 하이퍼파라미터 분석 결과, 최적의 성능는 τ=3 및 α∈[0.5,2.0]에서 달성되었으며, 이는 하이퍼파라미터 선택에 대해 강건함을 시사한다.

(a) CIFAR-100