[논문 리뷰] Explaining Knowledge Distillation by Quantifying the Knowledge

Xu Cheng, Zhefan Rao외 2명|arXiv (Cornell University)|2020. 03. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 50인용 수 16

한 줄 요약

이 논문은 엔트로피 기반 메트릭을 사용하여 딥 네ural 네트워크(DNN) 중간층 내에서 임업적 개념과 비임업적 시각적 개념을 정량화함으로써 지식 증류를 설명하는 방법을 제안한다. 이는 지식 증류가 DNN이 더 많은 임업적 개념을 학습하고, 순차적으로가 아니라 동시에 학습하며, 더 안정적인 방향으로 최적화함으로써 원시 데이터로부터의 학습보다 뛰어난 성능을 내는 데 기여함을 보여준다.

ABSTRACT

This paper presents a method to interpret the success of knowledge distillation by quantifying and analyzing task-relevant and task-irrelevant visual concepts that are encoded in intermediate layers of a deep neural network (DNN). More specifically, three hypotheses are proposed as follows. 1. Knowledge distillation makes the DNN learn more visual concepts than learning from raw data. 2. Knowledge distillation ensures that the DNN is prone to learning various visual concepts simultaneously. Whereas, in the scenario of learning from raw data, the DNN learns visual concepts sequentially. 3. Knowledge distillation yields more stable optimization directions than learning from raw data. Accordingly, we design three types of mathematical metrics to evaluate feature representations of the DNN. In experiments, we diagnosed various DNNs, and above hypotheses were verified.

연구 동기 및 목표

• 중간 DNN 층에 인코딩된 지식을 분석함으로써 지식 증류가 원시 데이터로부터의 학습보다 우수한 이유를 설명하는 것.
• 인간의 애너테이션 없이 엔트로피 기반 메트릭을 사용하여 임업적 및 비임업적 시각적 개념을 정량화하는 것.
• 지식 증류가 종래의 엔드 투 엔드 학습과 비교해 더 효율적이고 동시에, 더 안정적인 시각적 개념 학습을 이끌어내는지 조사하는 것.
• 학생 네트워크와 기준 네트워크의 특징 표현을 정량적으로 분석함으로써 지식 증류에 관한 세 가지 가설을 검증하는 것.

제안 방법

• 엔트로피 기반 분석을 사용하여 중간 DNN 층 내 시각적 개념을 정량화하는 방법을 제안하며, 정보 손실이 낮은 영역을 시각적 개념으로 간주한다.
• 세 가지 수학적 메트릭을 도입한다: 전경(임업적) 및 배경(비임업적) 개념의 수, 학습 속도(λ), 최적화 안정성(D_mean, D_std).
• 동일한 아키텍처를 가진 학생 네트워크(증류를 통해 학습)와 기준 네트워크(원시 데이터로부터 학습)를 여러 모델(ResNet-18, -50, -101, -152)에 대해 비교한다.
• 정보 봉쇄 이론을 기반으로 하지만, 학습 중 픽셀 수준의 개념 기각을 측정함으로써 이를 확장한다.
• 정확한 분리가 어려운 점을 고려하여, 약간의 에포크 단위 추정(−m)을 사용하여 학습 단계와 기각 단계를 구분한다.
• 완전히 연결된 층(FC1, FC2, FC3)에 메트릭을 적용하여 학습 전반에 걸친 개념 인코딩 및 최적화 역학을 분석한다.

실험 결과

연구 질문

• RQ1 지식 증류는 원시 데이터로부터의 학습보다 DNN이 더 많은 임업적 시각적 개념을 학습하는가?
• RQ2 지식 증류는 기준 네트워크에서의 순차적 학습과는 대비하여 다양한 시각적 개념을 동시에 학습하는가?
• RQ3 지식 증류는 비임업적 특징이 먼저 모델링되고 나중에 기각되는 '돌아가기' 현상이 줄어들도록 더 안정적인 최적화 방향을 이끌어내는가?
• RQ4 인간의 애너테이션 없이 엔트로피 기반 방법을 사용하여 중간 DNN 층 내 시각적 개념을 정량화할 수 있는가?
• RQ5 학생 네트워크(증류를 통한 학습)와 기준 네트워크(원시 데이터로부터 학습) 간의 개념 수, 속도, 안정성 측면에서 학습 역학과 특징 표현은 어떻게 다를까?

주요 결과

• 학생 네트워크는 모든 ResNet 변종과 층에서 기준 네트워크보다 유의미하게 더 많은 임업적 시각적 개념(N_concept^fg)을 학습했으며, 일관되게 높은 값을 기록했다.
• 학생 네트워크는 더 높은 학습 속도(λ)와 낮은 최적화 불안정성(D_mean, D_std)을 보이며, 더 일관되고 효율적인 특징 학습을 나타냈다.
• 기준 네트워크는 더 높은 N_concept^bg 및 D_std 값을 보이며, 비임업적 개념의 더 큰 인코딩과 더 불안정한 최적화 경로를 나타냈다.
• 예를 들어 ResNet-18에서, 학생 네트워크는 FC1에서 N_concept^fg = 15.20을 기록한 반면 기준 네트워크는 13.03이었으며, D_std는 각각 0.39와 0.41이었고, 이는 가설 1과 3을 지지한다.
• 모든 층과 모델에서 학생 네트워크는 D_mean과 D_std 값이 낮아 더 안정적인 최적화 방향과 더 적은 돌림길을 보였다.
• 메트릭은 지식 증류가 나중에 비판적 기능을 기각할 필요성을 줄이며, D_std가 감소하고 일관된 개념 학습 패턴이 나타남으로써 이를 확인시켰다.