[論文レビュー] Knowledge Amalgamation from Heterogeneous Networks by Common Feature Learning

Sihui Luo, Xinchao Wang+4 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Neural Network Applications参考文献 12被引用数 6

ひとこと要約

本稿では、異なるアーキテクチャと特化したタスクを持つ複数の異種教師ネットワークから知識を統合するための知識統合フレームワークを提案する。各教師の特徴量を共有の共通空間に投影することで、学生モデルは人間のアノテーションにアクセスせずに、教師の変換済み特徴量とソフトラベルの両方を模倣する。その結果、各教師が特化したタスクにおいて、個々の教師を上回る性能を達成する。

ABSTRACT

An increasing number of well-trained deep networks have been released online by researchers and developers, enabling the community to reuse them in a plug-and-play way without accessing the training annotations. However, due to the large number of network variants, such public-available trained models are often of different architectures, each of which being tailored for a specific task or dataset. In this paper, we study a deep-model reusing task, where we are given as input pre-trained networks of heterogeneous architectures specializing in distinct tasks, as teacher models. We aim to learn a multitalented and light-weight student model that is able to grasp the integrated knowledge from all such heterogeneous-structure teachers, again without accessing any human annotation. To this end, we propose a common feature learning scheme, in which the features of all teachers are transformed into a common space and the student is enforced to imitate them all so as to amalgamate the intact knowledge. We test the proposed approach on a list of benchmarks and demonstrate that the learned student is able to achieve very promising performance, superior to those of the teachers in their specialized tasks.

研究の動機と目的

• 異なるアーキテクチャと特化したタスクを持つ複数の異種教師ネットワークからの知識蒸留手法の開発。
• 人間によるアノテーションデータにアクセスせずに知識統合を可能にする。
• 多様な教師が処理する全タスクを1つの軽量学生モデルが学習可能にする。
• 異種アーキテクチャ間で特徴レベルの模倣を可能にする共通特徴空間の設計。
• 学生モデルが個々の教師の特化したタスクで、それらを上回る性能を示すことを実証すること。

提案手法

• 各異種教師の特徴量を共通埋め込み空間に投影する共有特徴抽出器を用いて、共有特徴空間を学習する。
• 学生モデルは、共通空間におけるすべての教師の変換済み特徴量を、平均二乗誤差損失を用いて模倣するように訓練する。
• 並列してソフトラベル蒸留を適用し、学生は教師のソフト予測を一致させるように学習する。
• 変換済み教師特徴量の分布を共通空間で一致させるために、最大平均差分（MMD）損失を用いる。
• 特徴量模倣とソフトラベル蒸留の目的関数を組み合わせ、エンドツーエンドで学生モデルを訓練する。
• 自己オートエンコーダーを代替手段として用いて、共有特徴抽出器とMMD損失の必要性をアブレーションスタディで評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャを持つ複数の異種教師ネットワークから、1つの学生モデルが効果的に知識を学習・統合できるか？
• RQ2 人間のアノテーションにアクセスせずに、異種教師から学生への知識転送はどのように実現できるか？
• RQ3 共通の共通特徴空間で学習することは、直接的な蒸留や特徴量マッチングよりも優れた知識統合をもたらすか？
• RQ4 学生モデルは、個々の教師の特化したタスクでそれらを上回る性能を示せるか？
• RQ5 教師の学習データとは異なるラベルなしデータで訓練された場合、知識統合フレームワークのロバスト性はどの程度か？

主な発見

• 複数の異種教師から学習した学生モデルは、各教師が特化したタスクにおいて、個々の教師を上回る優れた性能を達成する。
• CUB200-2011およびStanford Dogsデータセットにおいて、学生は最良の教師をそれぞれ1.3%と1.1%上回る。
• 教師の学習データとは異なる難易度の高いラベルなしデータで訓練された場合でも、学生はCFP-FPで86.36%の精度を達成し、KDを上回り、強いロバスト性を示す。
• アブレーションスタディの結果、共有特徴抽出器とMMD損失の両方が不可欠であることが確認され、両方を併用した場合に最高の性能が得られた。
• t-SNEによる可視化では、学生の特徴量が共通空間において教師の特徴量の中心に集中していることが確認され、有効な知識統合が実現していることが裏付けられた。
• 学生モデルはコンパクトなサイズを維持しながらも、全タスクを習得しており、人間のアノテーションデータなしで効率的な知識統合が実現していることが示された。