[論文レビュー] Role-Wise Data Augmentation for Knowledge Distillation

Jie Fu, Xue Geng+7 more|arXiv (Cornell University)|Apr 19, 2020

Data Quality and Management参考文献 43被引用数 18

ひとこと要約

本論文では、知識蒸留におけるロール別データオーグメンテーションを提案する。教師および生徒ネットワークのそれぞれに特化した異なるデータオーグメンテーション方針を学習することで、知識の転送を向上させる。各モデルの学習能力に合わせて訓練データをカスタマイズすることで、特に低精度およびフル精度設定において、通常の訓練より最大3%、標準的なKDより1.5%の顕著な精度向上を達成する。

ABSTRACT

Knowledge Distillation (KD) is a common method for transferring the ``knowledge'' learned by one machine learning model (the extit{teacher}) into another model (the extit{student}), where typically, the teacher has a greater capacity (e.g., more parameters or higher bit-widths). To our knowledge, existing methods overlook the fact that although the student absorbs extra knowledge from the teacher, both models share the same input data -- and this data is the only medium by which the teacher's knowledge can be demonstrated. Due to the difference in model capacities, the student may not benefit fully from the same data points on which the teacher is trained. On the other hand, a human teacher may demonstrate a piece of knowledge with individualized examples adapted to a particular student, for instance, in terms of her cultural background and interests. Inspired by this behavior, we design data augmentation agents with distinct roles to facilitate knowledge distillation. Our data augmentation agents generate distinct training data for the teacher and student, respectively. We find empirically that specially tailored data points enable the teacher's knowledge to be demonstrated more effectively to the student. We compare our approach with existing KD methods on training popular neural architectures and demonstrate that role-wise data augmentation improves the effectiveness of KD over strong prior approaches. The code for reproducing our results can be found at https://github.com/bigaidream-projects/role-kd

研究の動機と目的

• 教師および生徒の両方に対して同一の訓練データが使用される既存の知識蒸留手法の限界に対処する。これは、モデルの能力に差があるにもかかわらず、同じデータが使用されるためである。
• 各モデルの学習プロファイルに合わせた適応的データオーグメンテーションが、知識転送の効果を高めることを調査する。
• 標準的なKDが顕著な精度低下を引き起こすことがある低ビット幅（量子化済み）ニューラルネットワークにおける知識蒸留のパフォーマンスを向上させること。
• 教師および生徒の両方のための異なるデータオーグメンテーションスケジュールを学習する二段階フレームワークを構築すること。このフレームワークは蒸留目的とは独立して動作する。
• 標準的なKDを超えて、教師と生徒のアーキテクチャが類似している場合でも、カスタムオーグメンテーション方針が生徒のパフォーマンスを向上させることを示すこと。

提案手法

• 二段階訓練フレームワークを提案する。まず、方針学習済みのデータオーグメンテーションスケジュールで教師を訓練し、次に別々に学習されたスケジュールを用いて、生徒に知識を蒸留する。
• DARTSにインspiredした微分可能アーキテクチャ探索の手法を用い、教師および生徒の両方の蒸留目的とデータオーグメンテーション方針を同時に最適化する。
• 訓練エポックにわたって、データオーグメンテーション操作（例：回転、カットアウト、ミックスアップ）の操作確率およびマグニチュードパラメータを学習し、エポックベースのスケジュールを形成する。
• 特徴ベースの知識蒸留の変種を導入し、内部および相互の特徴マップ間の関係を捉えることで、知識転送を向上させる。
• データオーグメンテーション方針の学習を蒸留目的から分離することで、本手法が既存のあらゆるKD手法と組み合わせ可能であることを実現する。
• 本手法を低精度（量子化済み）およびフル精度の生徒ネットワークに適用し、さまざまな設定での汎用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 教師と生徒に異なるデータオーグメンテーション方針を学習させることで、両者に同じデータを使用する従来手法と比較して、知識蒸留のパフォーマンスが向上するか？
• RQ2 ロール別データオーグメンテーションは、標準的なKDがしばしば失敗する低精度モデルの訓練において、より優れたパフォーマンスをもたらすか？
• RQ3 教師と生徒の両モデルにおける学習済みのオーグメンテーションスケジュールの違いは何か？また、訓練の進行に伴い、それらにどのようなパターンが現れるか？
• RQ4 本手法の有効性は、教師と生徒のアーキテクチャの類似性に依存するか？
• RQ5 本手法は、既存のKD技術と組み合わせても、それらのパフォーマンスを損なわずに統合可能か？

主な発見

• 提案されたロール別データオーグメンテーションは、フル精度設定において、通常の訓練より最大3%、標準的なKDより1.5%の顕著なパフォーマンス向上を達成する。
• CIFAR-100では、生徒にWRN-16-2、教師にWRN-28-10を用いた場合、76.19%の精度を達成し、通常のベースライン（72.68%）および標準的なKD（74.41%）を上回る。
• より類似したアーキテクチャ（例：PyramidNet-200-240からWRN-16-2）への蒸留では、75.03%の精度を達成し、教師と生徒のアーキテクチャが一致する場合に顕著な向上が見られた。
• 教師と生徒の両方の学習済みオーグメンテーションスケジュールは顕著に異なる。特に、生徒のスケジュールは回転やカットアウトといった、低精度モデルに挑戦的な操作を強調する傾向にある。
• 本手法は量子化を超えて一般化が良く、WRN-16-2、PreResNet32、WRN-16-4といったフル精度ネットワークでも、さまざまな教師アーキテクチャに対してパフォーマンスを向上させる。
• 二段階フレームワークは、既存のKD手法と直交しており、ソフトラベル、特徴マップ、またはハイブリッド蒸留戦略とシームレスに統合可能である。