[論文レビュー] Knowledge Projection for Deep Neural Networks

Zhi Zhang, Guanghan Ning+1 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Neural Network Applications参考文献 41被引用数 16

ひとこと要約

本稿では、学習可能な射影行列を介して大規模な事前学習済み教師ネットワークから薄く高速な学生ネットワークへ知識を効果的に転送するフレームワークである知識射影ネットワーク（KPN）を提案する。知識蒸留とドメイン適応を動的で反復的な層選択プロセスを通じて共同最適化することで、ラベル付きデータが限られた小規模データセットにおいて、精度を最大4%向上させるとともに、モデルの複雑さを4〜10倍まで低減する。

ABSTRACT

While deeper and wider neural networks are actively pushing the performance limits of various computer vision and machine learning tasks, they often require large sets of labeled data for effective training and suffer from extremely high computational complexity. In this paper, we will develop a new framework for training deep neural networks on datasets with limited labeled samples using cross-network knowledge projection which is able to improve the network performance while reducing the overall computational complexity significantly. Specifically, a large pre-trained teacher network is used to observe samples from the training data. A projection matrix is learned to project this teacher-level knowledge and its visual representations from an intermediate layer of the teacher network to an intermediate layer of a thinner and faster student network to guide and regulate its training process. Both the intermediate layers from the teacher network and the injection layers from the student network are adaptively selected during training by evaluating a joint loss function in an iterative manner. This knowledge projection framework allows us to use crucial knowledge learned by large networks to guide the training of thinner student networks, avoiding over-fitting, achieving better network performance, and significantly reducing the complexity. Extensive experimental results on benchmark datasets have demonstrated that our proposed knowledge projection approach outperforms existing methods, improving accuracy by up to 4% while reducing network complexity by 4 to 10 times, which is very attractive for practical applications of deep neural networks.

研究の動機と目的

• ラベル付きデータが限られる状況における深層学習におけるモデル圧縮とドメイン適応の二重の課題に対処すること。
• 大規模なラベル付きデータを必要とせずに、薄く高速な学生ネットワークの性能を向上させること。
• トレーニング中に知識蒸留とドメイン固有の適応を共同最適化できること。
• 計算複雑さを低減しながら、小規模データセットにおける精度を維持または向上させること。
• リソース制約のある実世界の応用に適したモジュラで展開可能なフレームワークを開発すること。

提案手法

• 事前学習済み教師ネットワークの中間層特徴を、より小さな学生ネットワークの対応する層へマッピングするための学習可能な射影行列を学習する。
• 学生ネットワークのトレーニングをガイドするため、知識蒸留とドメイン適応を組み合わせた共同損失関数をフレームワークが使用する。
• 教師および学生ネットワークの各中間層は、共同損失評価に基づく反復的プルーニングを介してトレーニング中に適応的に選択される。
• 射影プロセスは二段階の最適化を経て実施される：教師ネットワークからの知識抽出と、エンドツーエンドトレーニング中の学生ネットワークへの統合。
• 教師層tから学生層sへの最適な「射影ルート」を動的に同定し、手動での層選択を回避する。
• 最終的な推論ネットワークは、射影コンponentsを含まない標準的な圧縮された学生ネットワークであり、効率的な展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模で事前学習済みの教師ネットワークからの知識を、小規模データセットにおける性能向上を図るために、より小さな学生ネットワークへ効果的に射影できるか？
• RQ2 知識蒸留とドメイン適応をどのように共同最適化することで、学生ネットワークの精度と効率を向上させられるか？
• RQ3 知識射影のための最適な深さと層構成は何か？性能向上を最大化するには？
• RQ4 射影ルートの反復的プルーニングは、データが限られる状況下でのモデル精度と頑健性にどのように影響するか？
• RQ5 提案されたフレームワークは、ラベル数が限られたベンチマークにおいて、顕著なモデル圧縮を達成しながら精度を損なわないか？

主な発見

• 提案されたKPNフレームワークは、ラベル付きデータが限られたベンチマークデータセットにおいて、従来の蒸留手法と比較して分類精度を最大4%向上させる。
• この手法により、モデルの複雑さが4〜10倍まで低減され、教師ネットワークのパラメータの2%未満で34倍の高速化が達成された。
• 反復的プルーニングは、最適な射影ルートを効果的に同定し、その結果とテスト精度の相関が高く、知識転送には中間層が好ましいことが示された。
• トレーニングデータが減少しても、フレームワークは高い性能を維持し、適応損失を軽減するために射影ルートがより深い層へシフトすることが観察された。
• KPNでトレーニングされた学生ネットワークは、一般化性能が高く、特にデータが限られる状況下でも過学習のリスクが低減される。
• モジュラ設計により、物体検出やセグメンテーションなどの他のタスクへのシームレスな統合が可能となり、応用範囲が拡張される。