[論文レビュー] Customizing Student Networks From Heterogeneous Teachers via Adaptive Knowledge Amalgamation

Chengchao Shen, Mengqi Xue+4 more|arXiv (Cornell University)|Aug 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 10

ひとこと要約

本稿では、人間によるアノテーションにアクセスせずに、異種の事前学習済み教師から、コンパクトでマルチタスクな学生ネットワークをカスタマイズするための二段階的適応的知識統合手法を提案する。タスクの重複する教師をクラスタリングし、モジュール型のコンponentネットワークを学習し、各サンプルごとに予測の曇りが最も少ない（エントロピーが最も低い）教師から特徴量と予測値を選択的に蒸留する転送ブリッジを介して、学生ネットワークは、細分化された属性認識タスクにおいて個々の教師を上回る優れた性能を達成する。

ABSTRACT

A massive number of well-trained deep networks have been released by developers online. These networks may focus on different tasks and in many cases are optimized for different datasets. In this paper, we study how to exploit such heterogeneous pre-trained networks, known as teachers, so as to train a customized student network that tackles a set of selective tasks defined by the user. We assume no human annotations are available, and each teacher may be either single- or multi-task. To this end, we introduce a dual-step strategy that first extracts the task-specific knowledge from the heterogeneous teachers sharing the same sub-task, and then amalgamates the extracted knowledge to build the student network. To facilitate the training, we employ a selective learning scheme where, for each unlabelled sample, the student learns adaptively from only the teacher with the least prediction ambiguity. We evaluate the proposed approach on several datasets and experimental results demonstrate that the student, learned by such adaptive knowledge amalgamation, achieves performances even better than those of the teachers.

研究の動機と目的

• 人間によるアノテーションデータにアクセスできない状況下で、異種の事前学習済み教師のプールから、コンパクトでマルチタスクな学生ネットワークをカスタマイズすることを可能にすること。
• 多様で、重複する可能性がある、あるいは単一タスクの教師からの知識統合の課題に取り組み、タスク固有の知識を保持するとともに、矛盾する監視信号を回避すること。
• 各サンプルごとに最も信頼性の高い教師を選択する適応的学習メカニズムを開発し、ノイズを低減し、訓練の安定性を向上させること。
• 中間のコンponentネットワークを生成することでモジュラリティと再利用性を高め、ユーザーが定義するさまざまなタスクの組み合わせに対して柔軟に統合できるようにすること。
• 効果的な知識統合により、学生ネットワークが個々の教師を上回る性能を達成できることを示すこと。

提案手法

• 本手法は二段階の知識統合プロセスを採用する：第一段階では、共有タスクに基づいてソースネットワークをクラスタリングし、単一タスクのコンponentネットワークを学習する。第二段階では、これらのコンponentネットワークを統合して最終的なマルチタスクのターゲットネットワークを構築する。
• 各ラベルなし入力サンプルに対して、学生は出力確率分布のエントロピーが最小（予測の曇りが最も少ない）となる教師を、予測の曇りが最も少ないものとして自発的に選択して学習する。
• 知識蒸留は最終予測にとどまらず、専用の転送ブリッジを介して中間特徴マップに対しても適用される。このブリッジは特徴次元を整合させ、ブロック単位の特徴転送を可能にする。
• 転送ブリッジモジュールにより、学生は選択された教師からタスクに適した中間表現を学習し、ログィットのみの蒸留を超える特徴レベルの監視を実現する。
• 選択的学習戦略により、各サンプルに対して最も自信のある教師が動的に割り当てられ、信頼性が低いまたは整合性のない教師からの悪影響（負の転送）のリスクが低減される。
• 本手法は複数の細分化データセットで評価され、アブレーションスタディにより、転送ブリッジおよび教師選択コンponentsの有効性が確認されている。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションにアクセスできない状況下で、異種の教師から効果的に学生ネットワークを訓練可能であり、かつユーザー定義タスクにおいて個々の教師を上回る性能を発揮できるか？
• RQ2 一括で全教師を統合するワンショット手法と比較して、二段階の知識統合戦略はどのように差を示すか？
• RQ3 各サンプルごとに曇りが最も少ない教師を選択する選択的学習戦略は、学生ネットワークの性能と耐性にどのような影響を及ぼすか？
• RQ4 中間特徴を統合する転送ブリッジは、標準的な知識蒸留と比較して、知識転送の質をどの程度向上させるか？
• RQ5 第一段階で生成されたコンponentネットワークは、さまざまなマルチタスク学生モデルを柔軟に構築するために再利用可能であり、モジュラリティとカスタマイズ性を向上させられるか？

主な発見

• 二段階の統合手法はワンショット手法を常に上回り、CelebAデータセットでは「Black Hair」で87.6%、「Blond Hair」で95.1%の正確度を達成した。一方、ワンショット設定ではそれぞれ85.6%および86.1%であった。
• 転送ブリッジモジュールの導入により、属性ごとに0.4～0.6パーセンテージポイントの性能向上が確認され、特徴レベルの監視の価値が裏付けられた。
• 教師選択学習戦略を導入した場合、それなしの知識蒸留と比較して0.2～0.4パーセンテージポイントの性能向上が得られ、誤った指導を低減する役割が確認された。
• 教師数の増加に伴い性能が向上する傾向が見られた：CelebAでは、ソースネットワークの数を増やすことで「arched eyebrows」と「high cheekbones」のタスクでより良い結果が得られた。これは、知識の補完性が有効に機能していることを示している。
• 学生ネットワークは、すべての個別教師を上回る性能を、ターゲットタスクの両方で達成しており、成功裏に補完的知識を統合し、一般化を実現したことが示された。
• アブレーションスタディにより、転送ブリッジおよび選択的学習が両方とも不可欠なコンponentsであることが確認され、フルモデルは変種と比較して平均して0.4～0.6ポイントの性能向上を達成した。