[論文レビュー] Explaining Knowledge Distillation by Quantifying the Knowledge

Xu Cheng, Zhefan Rao+2 more|arXiv (Cornell University)|Mar 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 50被引用数 16

ひとこと要約

本稿では、エントロピーに基づく指標を用いて、深層ニューラルネットワーク（DNN）の中間層に存在するタスク関連およびタスク非関連の視覚的コンセプトを定量化することにより、知識蒸留の説明を提案する。実験により、知識蒸留がDNNにタスク関連のコンセプトをより多く学習させ、順次的ではなく同時に学習させ、より安定した方向に最適化することを示し、生データからの学習を上回ることを明らかにした。

ABSTRACT

This paper presents a method to interpret the success of knowledge distillation by quantifying and analyzing task-relevant and task-irrelevant visual concepts that are encoded in intermediate layers of a deep neural network (DNN). More specifically, three hypotheses are proposed as follows. 1. Knowledge distillation makes the DNN learn more visual concepts than learning from raw data. 2. Knowledge distillation ensures that the DNN is prone to learning various visual concepts simultaneously. Whereas, in the scenario of learning from raw data, the DNN learns visual concepts sequentially. 3. Knowledge distillation yields more stable optimization directions than learning from raw data. Accordingly, we design three types of mathematical metrics to evaluate feature representations of the DNN. In experiments, we diagnosed various DNNs, and above hypotheses were verified.

研究の動機と目的

• 中間DNN層にエンコードされた知識を分析することにより、知識蒸留が生データからの学習を上回る理由を解明すること。
• 人的アノテーションを一切用いずに、エントロピーに基づく指標を用いてタスク関連およびタスク非関連の視覚的コンセプトを定量化すること。
• 知識蒸留が、エンドツーエンド学習と比較して、より効率的で、同時に、より安定した視覚的コンセプトの学習を促進するかどうかを調査すること。
• 学生モデルとベースラインネットワークの特徴表現の定量的分析を通じて、知識蒸留に関する3つの仮説を検証すること。

提案手法

• エントロピーに基づく分析を用いて、情報損失が小さい領域を視覚的コンセプトとみなすことにより、中間DNN層における視覚的コンセプトの定量化手法を提案する。
• 3つの数学的指標を導入する：前景（タスク関連）および背景（タスク非関連）のコンセプト数、学習速度（λ）、最適化安定性（D_mean, D_std）。
• 同一アーキテクチャの学生ネットワーク（知識蒸留で学習）とベースラインネットワーク（生データから学習）を、複数のモデル（ResNet-18, -50, -101, -152）で比較する。
• 情報ボトルネック理論を基盤としつつ、訓練中にピクセル単位でコンセプトが捨てられる割合を測定することで、これを拡張する。
• 粗いエポック単位の推定（−m）を用いて、学習段階と捨てられる段階を区別するが、プロセスが厳密に分離可能ではないことを認識している。
• 完全結合層（FC1, FC2, FC3）に指標を適用し、訓練全体にわたるコンセプトエンコードおよび最適化ダイナミクスを分析する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、生データからの学習と比較して、より多くのタスク関連視覚的コンセプトをDNNが学習可能であるか？
• RQ2 知識蒸留は、ベースラインネットワークが逐次的学習を行うのと対照的に、多様な視覚的コンセプトを同時に学習させることを促進するか？
• RQ3 知識蒸留は、非特徴的特徴が最初にモデル化され、後に捨てられるような「迂回」を減らし、より安定した最適化方向をもたらすか？
• RQ4 人的アノテーションを一切用いずに、エントロピーに基づく手法で中間DNN層における視覚的コンセプトを定量化可能か？
• RQ5 学生ネットワーク（知識蒸留経由）とベースラインネットワーク（生データからの学習）との間で、コンセプト数、速度、安定性の観点から、学習ダイナミクスおよび特徴表現にどのような差が生じるか？

主な発見

• 学生ネットワークは、すべてのResNetバージョンおよび層において、ベースラインネットワークよりも顕著に多くのタスク関連視覚的コンセプト（N_concept^fg）を学習した。
• 学生ネットワークは、より高い学習速度（λ）と低い最適化不安定性（D_mean, D_std）を示し、より一貫性があり、効率的な特徴学習が行われていることを示した。
• ベースラインネットワークは、N_concept^bgとD_stdの値が高く、タスク非関連のコンセプトのエンコードが強く、最適化経路が不安定であることが示された。
• 例として、ResNet-18では、学生ネットワークがFC1でN_concept^fg = 15.20を達成したのに対し、ベースラインは13.03であり、D_stdも0.39（学生）対0.41（ベースライン）であった。これは仮説1および3を支持する。
• すべての層およびモデルにおいて、学生ネットワークはD_meanおよびD_stdの値が低く抑えられ、より安定した最適化方向と、より少ない迂回を示した。
• 指標の分析から、知識蒸留により、非特徴的特徴の後続での捨てられが必要なくなることが明らかになった。D_stdの低減と、より一貫性のあるコンセプト学習パターンがその証左となった。