[論文レビュー] Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification

Quanshi Zhang, Xu Cheng+2 more|arXiv (Cornell University)|Aug 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）の各層にわたって保持される特徴的入力ユニット（知識ポイント）を定量化する情報理論的枠組みを新たに提案し、知識蒸留（KD）が訓練から再び開始する場合に優れている理由を説明する。知識ポイントの数、品質、学習の同時性、最適化の安定性を測定することで、著者らはKDがDNNがより多くのタスク関連知識ポイントをエンコードし、それらを同時に学び、より安定した最適化を行うことができることを示した。これは、画像分類、自然言語処理（NLP）、3次元点群分類の各タスクにおいて確認された。

ABSTRACT

Compared to traditional learning from scratch, knowledge distillation sometimes makes the DNN achieve superior performance. This paper provides a new perspective to explain the success of knowledge distillation, i.e., quantifying knowledge points encoded in intermediate layers of a DNN for classification, based on the information theory. To this end, we consider the signal processing in a DNN as the layer-wise information discarding. A knowledge point is referred to as an input unit, whose information is much less discarded than other input units. Thus, we propose three hypotheses for knowledge distillation based on the quantification of knowledge points. 1. The DNN learning from knowledge distillation encodes more knowledge points than the DNN learning from scratch. 2. Knowledge distillation makes the DNN more likely to learn different knowledge points simultaneously. In comparison, the DNN learning from scratch tends to encode various knowledge points sequentially. 3. The DNN learning from knowledge distillation is often optimized more stably than the DNN learning from scratch. In order to verify the above hypotheses, we design three types of metrics with annotations of foreground objects to analyze feature representations of the DNN, extit{i.e.} the quantity and the quality of knowledge points, the learning speed of different knowledge points, and the stability of optimization directions. In experiments, we diagnosed various DNNs for different classification tasks, i.e., image classification, 3D point cloud classification, binary sentiment classification, and question answering, which verified above hypotheses.

研究の動機と目的

• 正則化やラベルスムージングを超えた知識蒸留の成功を、中間層の表現を分析することで説明すること。
• 訓練中に深層ニューラルネットワークに知識がどのようにエンコードされ、保持されるかという定量的理解の欠如を解消すること。
• 情報理論に基づいた新たな理論的枠組み（知識ポイントの定量化）を提案し、表現学習のダイナミクスを分析すること。
• 知識蒸留が、訓練から再び開始する場合と比較して、知識のエンコーディング効率、同時性、最適化の安定性を向上させることを検証すること。

提案手法

• 知識ポイントを、DNNの順伝播処理中に他のものよりも情報が破棄されにくい入力ユニット（例：ピクセル、単語埋め込み）として定義する。
• 3つの指標を提案する：(1) 知識ポイントの数と品質（フォアグラウンドアノテーションを用いて）、(2) $D_{\textrm{mean}}$ と $D_{\textrm{std}}$ を用いた学習の同時性、(3) 方向の一貫性を測る $\rho$ を用いた最適化の安定性。
• 情報理論的信号処理を用いて、DNNを段階的（レイヤー単位）に情報破棄を行うシステムとしてモデル化し、保持された入力ユニットを知識ポイントとして同定する。
• 画像分類（CUB200-2011、Tiny ImageNet）、3次元点群（ModelNet40）、自然言語処理（SST-2、QNLI）の多様なタスクにおいて、DNNの中間特徴にこれらの指標を適用する。
• 同じ指標を用いて、KDで訓練された学生ネットワークと、訓練から再び開始したベースラインネットワークを比較する。
• フォアグラウンドアノテーションを用いて、タスク関連知識ポイントの割合を計算し、表現の品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、訓練から再び開始する場合と比較して、より多くの保持された特徴的知識ポイントを生じさせるか？
• RQ2 知識蒸留は、知識ポイントを逐次的ではなく、同時に学習可能にするか？
• RQ3 知識蒸留は、訓練から再び開始する場合と比較して、より安定した最適化軌道を示すか？
• RQ4 知識ポイントの定量化は、視覚、NLP、3次元学習を含む多様な分類タスクにおける性能向上を説明できるか？

主な発見

• 知識蒸留は、より多くの保持知識ポイントをもたらす：例えば、CUB200-2011でVGG-16がVGG-19から知識蒸留を行うと、19.88の知識ポイントが得られた（訓練から再び開始した場合の15.29より高い）。
• タスク関連知識ポイントの割合は分類精度と正の相関を示す：フォアグラウンド知識ポイントの割合が高いDNNは、より高い性能を示す。例として、VGG-19ではKDの場合0.71、訓練から再び開始した場合0.65であった。
• 知識蒸留は知識ポイントの同時学習を可能にする：VGG-16では、学生ネットワークの $D_{\textrm{mean}}$ と $D_{\textrm{std}}$ がそれぞれ0.85と0.93であり、ベースライン（3.46と40.31）より低いことから、よりバランスの取れた学習が行われていることが示された。
• 知識蒸留は最適化の安定性を向上させる：学生ネットワークは、ベースライン（0.27）より高い $\rho$ 値（例：0.32）を示し、最適化の迂回が少ないことを示した。
• ファインチューニングも知識ポイントのダイナミクスの恩恵を受ける：ファインチューニングされたVGG-16は、訓練から再び開始する場合よりも、新しいフォアグラウンド知識ポイントをより速く、一時的な破棄が少ない状態で学習した。
• 失敗事例は、浅いネットワーク（例：AlexNet、VGG-11）や、非常に特徴的であるモデル（例：PointNet++）で発生し、知識ポイントのダイナミクスが明確に分離されにくかった。