[論文レビュー] Amalgamating Knowledge towards Comprehensive Classification

Chengchao Shen, Xinchao Wang+3 more|arXiv (Cornell University)|Nov 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 15

ひとこと要約

本稿では、複数の専門的な教師モデルから知識を蒸留することで、包括的分類を実行する軽量な学生ネットワークを訓練する、新しいモデル再利用タスク「知識統合」を提案する。2段階のアプローチ（特徴統合 followed by 層ごとのパラメータ学習）を採用することで、人間のアノテーションがなくても、個々の教師モデルよりも優れた性能を、サブタスクにおいて達成する。

ABSTRACT

With the rapid development of deep learning, there have been an unprecedentedly large number of trained deep network models available online. Reusing such trained models can significantly reduce the cost of training the new models from scratch, if not infeasible at all as the annotations used for the training original networks are often unavailable to public. We propose in this paper to study a new model-reusing task, which we term as \emph{knowledge amalgamation}. Given multiple trained teacher networks, each of which specializes in a different classification problem, the goal of knowledge amalgamation is to learn a lightweight student model capable of handling the comprehensive classification. We assume no other annotations except the outputs from the teacher models are available, and thus focus on extracting and amalgamating knowledge from the multiple teachers. To this end, we propose a pilot two-step strategy to tackle the knowledge amalgamation task, by learning first the compact feature representations from teachers and then the network parameters in a layer-wise manner so as to build the student model. We apply this approach to four public datasets and obtain very encouraging results: even without any human annotation, the obtained student model is competent to handle the comprehensive classification task and in most cases outperforms the teachers in individual sub-tasks.

研究の動機と目的

• 複数の事前学習済みで専門的なディープラーニングモデルを、より広範かつ統一的な分類タスクに再利用する課題に対処すること。
• 元の学習アノテーションにアクセスできない状況でも、教師ネットワークの出力のみを活用してモデル再利用を可能にすること。
• 教師モデルがカバーするすべてのタスクにわたる包括的分類を実行できる軽量な学生モデルを開発すること。
• 多様で専門的な教師モデルからの知識を効果的に統合することで、個々の教師モデルがそれぞれのサブタスクで優れた性能を発揮するかを検証すること。

提案手法

• 同じ入力サンプルに対して、複数の教師ネットワークの特徴表現を抽出し、スタックする。
• 多層パーセプトロン（MLP）を用いて特徴統合を実施し、スタックされた特徴をコンパクトで識別性の高い表現に圧縮・精錬する。
• 統合された特徴を監視信号として用い、層ごとの方法で学生ネットワークのパラメータを学習する。
• 訓練の安定化と層間の誤差蓄積の低減を図るため、層ごとのパラメータ学習を実装する。
• 層ごとの戦略の有効性を比較するためのベースラインとして、結合パラメータ学習を実装する。
• 統合された特徴を、学生ネットワーク内の非パラメトリック層と互換性のある形式に変換するため、特徴適応モジュール（FAM）を導入する。

実験結果

リサーチクエスチョン

• RQ1 複数の専門的な教師モデルから知識を蒸留することで、1つの軽量な学生モデルが包括的分類を効果的に学習できるか？
• RQ2 多様で異種の教師モデルからの知識統合は、それぞれのサブタスクにおいて個々の教師モデルよりも優れた性能をもたらすか？
• RQ3 特徴統合 followed by 層ごとのパラメータ学習という2段階戦略が、頑健な学生モデルの訓練にどの程度効果的か？
• RQ4 特徴適応モジュール（FAM）は、特徴の互換性とモデル性能をどの程度向上させるか？
• RQ5 収束性と最終的な正答率の観点から、結合パラメータ学習は層ごとの学習を上回るか？

主な発見

• 知識統合を用いて訓練された学生モデルは、4つのすべてのデータセットにおいて、個々の教師モデルがそれぞれのサブタスクで達成した性能を上回った。
• Stanford Dogsデータセットでは、3人の教師から得た知識を活用した学生モデルが69.9％の正答率を達成し、そのサブタスクで最高の教師モデルを上回った。
• 4人の教師を用いた場合、Stanford Dogsでは70.3％の正答率に達し、スケーラビリティと性能の向上を示した。
• アブレーションスタディの結果、特徴適応モジュール（FAM）を無効化した場合、Stanford Dogsでの正答率は25.3％に低下したが、FAMを有効化すると45.3％に上昇し、その有効性が裏付けられた。
• 層ごとのパラメータ学習は、結合学習から始めると比較して、テスト誤差を顕著に低減した。特に、300エポックでテスト誤差が60％未満に低下した。
• 結合パラメータ学習は、すべてのデータセットで層ごとの学習を上回った。これは、層ごとの訓練における誤差蓄積が、結合最適化によって効果的に抑制されていることを裏付けた。