[論文レビュー] Search for Better Students to Learn Distilled Knowledge

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Jan 30, 2020

Educational Assessment and Pedagogy参考文献 33被引用数 13

ひとこと要約

本論文では、L1正則化された部分勾配を用いて教師モデルのトポロジーをプルーニングすることで、知識蒸留に最適な学生ネットワークを自動的に探索するニューラルアーキテクチャ探索手法を提案する。この手法は、学生と教師の出力間のKLダイバージェンスを最小化するスパースサブグラフを選択し、CIFAR-10およびCIFAR-100において手動で設計されたまたはSOTAの学生アーキテクチャよりも優れた一般化性能を達成する。

ABSTRACT

Knowledge Distillation, as a model compression technique, has received great attention. The knowledge of a well-performed teacher is distilled to a student with a small architecture. The architecture of the small student is often chosen to be similar to their teacher's, with fewer layers or fewer channels, or both. However, even with the same number of FLOPs or parameters, the students with different architecture can achieve different generalization ability. The configuration of a student architecture requires intensive network architecture engineering. In this work, instead of designing a good student architecture manually, we propose to search for the optimal student automatically. Based on L1-norm optimization, a subgraph from the teacher network topology graph is selected as a student, the goal of which is to minimize the KL-divergence between student's and teacher's outputs. We verify the proposal on CIFAR10 and CIFAR100 datasets. The empirical experiments show that the learned student architecture achieves better performance than ones specified manually. We also visualize and understand the architecture of the found student.

研究の動機と目的

• 知識蒸留における手動で設計された学生アーキテクチャの非効率性と最適でない性能を是正すること。
• プルーニングと蒸留を同時に最適化する自動化された手法を開発し、学生の性能を向上させること。
• 従来のサイズ削減手法よりも、蒸留された知識をより効果的に学習できる学生アーキテクチャを特定すること。
• 探索プロセスが、単なるモデル圧縮を越えて、有用なインダクティブバイアスを符号化しているかどうかを検討すること。

提案手法

• 教師のトポロジーグラフ上で、各チャネルをノード、接続関係をエッジとするサブグラフ選択問題として学生アーキテクチャ探索を定式化する。
• 教師グラフの各ノードに学習可能なゲート変数（スケーリング要因）を導入し、L1ノルムによる正則化を施してスパarsityを誘導する。
• 学生と教師の出力間のKLダイバージェンスを最小化するL1正則化損失関数に対して、近接勾配降下法を用いてアーキテクチャを最適化する。
• KLダイバージェンス、重み減衰（L2）、ゲート変数へのL1正則化を組み合わせた複合損失関数を定義し、性能とスパarsityのバランスを取る。
• L1正則化強度（λ₂）を調整することで、学生の最終的なFLOPsを制御し、ターゲットモデルサイズへの収束速度を制御する。
• ゲート値をチャネル削除率にマッピングすることで、発見された学生アーキテクチャを可視化し、プルーニング後のネットワークにおける構造的パターンを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 自動アーキテクチャ探索プロセスは、知識蒸留において、層数やチャネル数を減らすような手動のアーキテクチャ削減よりも優れた学生ネットワークを発見できるか？
• RQ2 プルーニングと蒸留を同時に最適化することで、順次的プルーニング後に蒸留を行う場合と比較して、学生の性能が向上するか？
• RQ3 L1正則化されたサブグラフ選択戦略は、学生モデルの一般化能力にどのように影響するか？
• RQ4 発見された学生アーキテクチャにどのような構造的特徴が現れ、既知の深層ネットワーク設計原則と整合性があるか？
• RQ5 発見された学生アーキテクチャは、知識蒸留なしでも良好な性能を示すか？これは、探索プロセスが教師から有用なインダクティブバイアスを暗黙的に学習していることを示唆する。

主な発見

• 提案手法は、CIFAR-10およびCIFAR-100において、同じFLOPsを有する手動設計の学生アーキテクチャよりも高いテスト精度を達成した。
• 損失関数内のKLダイバージェンスと最終的なテスト誤差の間に強い相関（0.8896）が存在し、損失関数が「良い」学生アーキテクチャを効果的に定義していることを検証した。
• より長い探索期間（λ₂を小さくした）で得られた学生は、より低いテスト誤差を示し、最適化を長く行うことでアーキテクチャの質が向上することを示した。
• 発見された学生アーキテクチャでは、深層部の多くがチャネルを保持しており、後段の層がより高い表現能力を必要とするという原則と整合的である。
• スキップ接続による特徴再利用が、発見されたアーキテクチャに保持されており、DenseNetsにおいてこのような接続が重要でないとされる主張とは対照的である。
• 知識蒸留なしで学習を開始した学生モデルでさえも良好な性能を示したため、探索プロセスが教師から有用なインダクティブバイアスを暗黙的に学習していることが示唆された。