[논문 리뷰] Online Knowledge Distillation with Diverse Peers

Defang Chen, Jian-Ping Mei외 3명|arXiv (Cornell University)|2019. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 4

한 줄 요약

이 논문은 사전 학습된 교사 모델이 없이도 성능을 향상시키기 위해 다양한 보조 피어(peer)와 그룹 리더를 활용하는 두 수준의 온라인 지식 증류 프레임워크인 OKDDip을 제안한다. 첫 번째 수준 증류에서는 주로 주의 기반 메커니즘을 사용해 동적이고 비대칭적인 가중치를 할당하여 피어 간의 다양성을 유지하고 일반화 능력을 향상시키며, 두 번째 수준 증류에서는 앙상블 지식을 단일 추론용 모델로 전달하여 추가 학습 또는 추론 비용 없이 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Distillation is an effective knowledge-transfer technique that uses predicted distributions of a powerful teacher model as soft targets to train a less-parameterized student model. A pre-trained high capacity teacher, however, is not always available. Recently proposed online variants use the aggregated intermediate predictions of multiple student models as targets to train each student model. Although group-derived targets give a good recipe for teacher-free distillation, group members are homogenized quickly with simple aggregation functions, leading to early saturated solutions. In this work, we propose Online Knowledge Distillation with Diverse peers (OKDDip), which performs two-level distillation during training with multiple auxiliary peers and one group leader. In the first-level distillation, each auxiliary peer holds an individual set of aggregation weights generated with an attention-based mechanism to derive its own targets from predictions of other auxiliary peers. Learning from distinct target distributions helps to boost peer diversity for effectiveness of group-based distillation. The second-level distillation is performed to transfer the knowledge in the ensemble of auxiliary peers further to the group leader, i.e., the model used for inference. Experimental results show that the proposed framework consistently gives better performance than state-of-the-art approaches without sacrificing training or inference complexity, demonstrating the effectiveness of the proposed two-level distillation framework.

연구 동기 및 목표

• 그룹 기반 온라인 지식 증류에서 피어들이 빠르게 유사한 행동으로 수렴하는 모델 동질화 문제를 해결하기 위해.
• 학습 중에 학생 피어 간의 다양성을 유지함으로써 교사 모델이 없는 증류에서 일반화 능력을 향상시키기 위해.
• 다양한 피어에서 지식을 효율적으로 전달하는 단일 그룹 리더로의 두 수준 증류 프레임워크를 설계하기 위해.
• 사전 학습된 교사 모델이 필요 없이, 교사 가이드가 있는 지식 증류(KD)와 경쟁하거나 그 이상의 성능을 달성하기 위해.

제안 방법

• OKDDip는 다수의 보조 피어와 하나의 그룹 리더를 사용하며, 첫 번째 수준 증류는 주의 기반 메커니즘을 통해 피어 간에 수행되어 개별화된 집합 가중치를 생성한다.
• 각 피어는 다른 피어의 예측에 주의 기반 가중치를 적용하여 자체 타겟 분포를 계산함으로써, 서로 다른 타겟 분포를 촉진하고 다양성을 향상시킨다.
• 주의 메커니즘은 피어들에 대한 중요도를 동적으로 할당하여 고품질 예측이 다른 피어에 더 큰 영향을 미치도록 하며, 최적화가 잘 되지 않은 피어의 악영향을 줄인다.
• 두 번째 수준 증류는 다양한 피어의 앙상블 지식을 그룹 리더로 전달하며, 이는 효율성을 보장한다.
• 피어 수준 및 그룹 리더 수준 학습에서의 지식 증류 손실을 통합하여 학습 및 추론 복잡도에 변화가 없도록 한다.
• 이 방법은 ResNet 기반 아키텍처를 사용해 CIFAR-10, CIFAR-100, ImageNet-2012에서 평가되었으며, 다양한 환경에서의 강건성을 입증했다.

실험 결과

연구 질문

• RQ1 사전 학습된 교사 모델에 의존하지 않고도 온라인 지식 증류가 고성능을 달성할 수 있는가?
• RQ2 그룹 기반 증류 중에 피어 다양성을 어떻게 유지할 수 있으며, 이는 조기 포화와 동질화를 방지하는가?
• RQ3 비대칭적이고 주의 기반 집합 가중치의 영향은 증류 성능과 모델 일반화에 어떤가?
• RQ4 피어 간 증류와 그룹 리더로의 두 번째 수준 증류로 구성된 이중 수준 프레임워크는 단일 수준 피어 증류보다 성능을 향상시키는가?
• RQ5 교사가 없는 증류 방법이 정확도와 효율성 측면에서 교사 가이드가 있는 KD를 능가할 수 있는가?

주요 결과

• OKDDip는 CIFAR-10, CIFAR-100, ImageNet-2012에서 최신 기술 수준의 온라인 지식 증류 방법보다 뛰어난 성능을 보이며, 모든 데이터셋에서 일관된 정확도 향상을 보였다.
• 제거 실험에서 주의 기반 메커니즘을 제거한 경우(CIFAR-100 기준) 오차율이 2.61% 증가하여, 다양성 유지에 있어 이 메커니즘이 핵심적인 역할을 한다는 것을 입증했다.
• 간단한 평균화(주의 기반 메커니즘 제거, 평균)를 사용할 경우 피어의 동질화로 인해 성능이 0.72% 하락하여, 동적 가중치의 유용성을 확인했다.
• 주의 가중치의 비대칭성을 제거한 경우(비대칭성 제거) 오차율이 0.42% 증가하여, 비대칭 주의 메커니즘이 약한 피어의 악영향을 완화하는 데 기여한다는 것을 증명했다.
• 두 번째 수준 증류를 제거한 경우 오차율이 2.16% 증가하여, 최종 추론 모델로의 효과적인 지식 전달을 위해 필수적임을 확인했다.
• 사전 학습된 교사 모델이 존재할 경우, OKDDip+KD(교사 보조)는 표준 KD 및 베이스라인 모델을 능가하며 교사 수준의 정확도에 가까워지지만, 교사 없는 OKDDip 역시 CIFAR-10 및 CIFAR-100에서 교사 가이드가 있는 KD를 능가했다.