[論文レビュー] Knowledge Flow: Improve Upon Your Teachers

Iou Jen Liu, Jian Peng+1 more|arXiv (Cornell University)|Apr 11, 2019

Neural Networks and Applications被引用数 19

ひとこと要約

Knowledge Flowは、アーキテクチャ的・タスク的差異に関係なく、複数の多様な深層ニューラルネットワーク（教師）から1つの学生ネットワークへ知識を転送する手法を提案する。ラテラル接続と知識蒸留を活用することで、教師微調整やベースラインモデルを上回る性能を示し、CIFAR-10およびAtari環境で最先端の結果を達成した。

ABSTRACT

A zoo of deep nets is available these days for almost any given task, and it is increasingly unclear which net to start with when addressing a new task, or which net to use as an initialization for fine-tuning a new model. To address this issue, in this paper, we develop knowledge flow which moves 'knowledge' from multiple deep nets, referred to as teachers, to a new deep net model, called the student. The structure of the teachers and the student can differ arbitrarily and they can be trained on entirely different tasks with different output spaces too. Upon training with knowledge flow the student is independent of the teachers. We demonstrate our approach on a variety of supervised and reinforcement learning tasks, outperforming fine-tuning and other 'knowledge exchange' methods.

研究の動機と目的

• 新しいタスクにおける初期化に最適な事前学習モデルを選択する課題に取り組むこと、特に関連性にばらつきのある複数のモデルが利用可能な状況を想定する。
• 既存の知識転送手法の限界を克服すること——例えばパラメータの増加、単一の教師モデルに依存すること、異種のアーキテクチャや出力空間を扱えないこと。
• 訓練後、構造的・パラメトリックな依存関係を一切保持しない状態で、学生ネットワークが複数の教師から独立して学習できることを実現すること。
• 高品質な教師と劣化した教師の両方を効果的に活用することで、誤った知識の影響を回避し、一般化性能と新規タスクへの性能を向上させること。

提案手法

• Knowledge Flowは、教師と学生ネットワークの間のラテラル接続を用いて、訓練中に特徴レベルでの知識転送を実現し、異なるアーキテクチャ間でも知識を転送可能にする。
• 学生ネットワークは、教師からの知識蒸留に加え、教師のソフトラベルや価値関数を用いた、教師の出力分布を模倣する損失関数を組み合わせて訓練される。
• この手法により、教師が異なるタスクで学習されていようと、異なる出力空間を有していようと、学生の出力分布を教師のものに一致させる知識蒸留が可能になる。
• 学生はタスク固有の損失と蒸留損失の両方を組み合わせてエンドツーエンドで訓練され、収束後は教師に依存しない完全に独立したモデルが得られる。
• このフレームワークは、教師および学生の両方で任意のネットワークアーキテクチャをサポートし、訓練後、学生が教師に残留接続を維持する必要がない。
• このアプローチは、交差エントロピーまたはA3C損失といった標準的な訓練目的を用いて、教師微調整と同様に、教師の出力分布に一致させる知識蒸留を実装する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャやタスクを持つ複数の異種深層ネットワークから、アーキテクチャ的制約なしに1つの学生モデルへ知識を効果的に転送できるか？
• RQ2 特に一部の教師が劣化している状況下でも、複数の教師が利用可能な場合、Knowledge Flowが教師微調整や他の知識蒸留手法を上回る性能を発揮するか？
• RQ3 任意の数の教師から知識を活用しながらも、パラメータの爆発を回避し、固定サイズの学生モデルを維持できるか？
• RQ4 Knowledge Flowは、教師の品質のばらつきに強く、監視学習および強化学習の両設定で有効であるか？また、多様なタスクやデータ分布に一般化できるか？

主な発見

• CIFAR-10では、C100およびSVHNの教師を用いたKnowledge Flowがテスト誤差3.88%まで低下させ、ベースラインのDensenet（4.44%）およびC100からの微調整（4.27%）を上回った。
• CIFAR-100では、Knowledge Flowがテスト誤差20.78%を達成し、ベースライン（21.64%）およびC10（20.83%）やSVHN（21.02%）からの微調整を上回った。
• Knowledge Flowは、劣化した教師（CIFAR-10におけるSVHN）の悪影響を効果的に緩和し、教師微調整で見られる性能の低下を回避した。
• Atari環境では、Knowledge Flowは教師微調整および既存の知識転送手法を上回り、強化学習における有効性を示した。
• 訓練後、複数の教師が存在しても、学生モデルは教師に依存せず、残留依存関係やパラメータの増加なしに完全に独立した状態となった。
• 本手法は、多様なタスクやデータ分布にわたり一貫した性能向上を達成し、教師の品質のばらつきに強く、一般化性能とロバスト性を裏付けた。