[논문 리뷰] Improving Knowledge Distillation with Supporting Adversarial Samples

Byeongho Heo, Minsik Lee외 2명|arXiv (Cornell University)|2018. 05. 15.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 7

한 줄 요약

이 논문은 교사 모델의 결정 경계를 지원하는 적대적 예제를 활용하여 학생 네트워크 성능을 향상시키는 새로운 지식 증류 방법을 제안한다. 이러한 경계를 지원하는 적대적 예제를 기반으로 학습시킴으로써 일반화 능력이 향상되고 이미지 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Many recent works on knowledge distillation have provided ways to transfer the knowledge of a trained network for improving the learning process of a new one, but finding a good technique for knowledge distillation is still an open problem. In this paper, we provide a new perspective based on a decision boundary, which is one of the most important component of a classifier. The generalization performance of a classifier is closely related to the adequacy of its decision boundary, so a good classifier bears a good decision boundary. Therefore, transferring information closely related to the decision boundary can be a good attempt for knowledge distillation. To realize this goal, we utilize an adversarial attack to discover samples supporting a decision boundary. Based on this idea, to transfer more accurate information about the decision boundary, the proposed algorithm trains a student classifier based on the adversarial samples supporting the decision boundary. Experiments show that the proposed method indeed improves knowledge distillation and achieves the state-of-the-arts performance.

연구 동기 및 목표

• 일반화에 중요한 요소인 결정 경계와 관련된 정보에 초점을 맞춤으로써 지식 증류를 향상시키기 위해.
• 기존 증류 방법이 결정 경계의 품질이나 구조를 명시적으로 고려하지 않는 한계를 해결하기 위해.
• 결정 경계를 지원하는 적대적 예제를 식별하고 활용하여 지식을 더 효과적으로 전달하는 방법을 개발하기 위해.
• 경계 인식 증류가 후속 작업에서 뛰어난 일반화 능력과 성능을 보임을 입증하기 위해.

제안 방법

• 적대적 공격를 사용하여 교사 모델의 결정 경계 근처에 위치한 적대적 예제를 식별한다.
• 이러한 적대적 예제는 결정 경계를 지원하거나 정의하는 데 기여하므로 모델의 강건성 향상에 기여한다.
• 청결한 데이터 외에도 이러한 경계를 지지하는 적대적 예제를 포함하여 학생 네트워크를 훈련시어 결정 경계 학습을 향상시킨다.
• 적대적 예제를 증류 손실에 통합함으로써 학생이 교사 모델의 결정 경계 기하학적 구조를 배우도록 보장한다.
• 표준 교차 엔트로피 손실과 지식 증류 손실을 결합한 훈련 목표 함수를 사용하며, 소프트 레이블은 교사 모델이 적대적 예제에 대해 예측한 결과에서 유도된다.

실험 결과

연구 질문

• RQ1 결정 경계를 지지하는 적대적 예제가 지식 증류 성능을 향상시킬 수 있는가?
• RQ2 경계를 지지하는 적대적 예제를 통합하면 학생 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 이 방법은 이미지 분류 작업에서 표준 지식 증류 및 기타 최신 기술 수준 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 결정 경계 품질이 지식 증류 성공에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 표준 이미지 분류 벤치마크에서 최신 기술 수준 성능을 달성하여 기존 증류 기법을 능가한다.
• 결정 경계를 지지하는 적대적 예제를 기반으로 훈련하면 더 강건하고 일반화 능력이 뛰어난 학생 모델이 된다.
• 이 방법은 단지 클래스 확률 외에도 결정 경계의 구조에 대한 지식을 명시적으로 전달하므로 일반화 능력이 향상된다.
• 실험 결과, 경계를 지지하는 적대적 예제를 포함시킴으로써 학생 네트워크의 정확도와 강건성이 크게 향상됨을 확인할 수 있었다.