[論文レビュー] Interactive Knowledge Distillation

Shipeng Fu, Zhen Li+4 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Neural Network Applications参考文献 38被引用数 7

ひとこと要約

本稿では、トレーニング中に事前に訓練された教師ネットワークのブロックをランダムに交換することで、学生ネットワークの性能を向上させる、新しい知識蒸留手法であるインタラクティブ知識蒸留（IAKD）を提案する。従来の方法が教師の特徴を模倣するための損失関数に依存するのに対し、IAKDは教師の強力な特徴変換能力を直接学生に統合することで、追加のハイパーパramータが不要で、訓練時間も短縮される。その結果、最先端の精度向上が達成される。

ABSTRACT

Knowledge distillation is a standard teacher-student learning framework to train a light-weight student network under the guidance of a well-trained large teacher network. As an effective teaching strategy, interactive teaching has been widely employed at school to motivate students, in which teachers not only provide knowledge but also give constructive feedback to students upon their responses, to improve their learning performance. In this work, we propose an InterActive Knowledge Distillation (IAKD) scheme to leverage the interactive teaching strategy for efficient knowledge distillation. In the distillation process, the interaction between teacher and student networks is implemented by a swapping-in operation: randomly replacing the blocks in the student network with the corresponding blocks in the teacher network. In the way, we directly involve the teacher's powerful feature transformation ability to largely boost the student's performance. Experiments with typical settings of teacher-student networks demonstrate that the student networks trained by our IAKD achieve better performance than those trained by conventional knowledge distillation methods on diverse image classification datasets.

研究の動機と目的

• 非インタラクティブな知識蒸留の限界、すなわち学生ネットワークが特徴変換能力に不足しているために教師の知識を十分に活用できない問題に対処すること。
• 蒸留中に教師と学生のネットワークの間で動的かつ双方向の相互作用を可能にすることで、学生ネットワークの性能を向上させること。
• 教師の特徴変換能力を直接学生に統合することで、追加の蒸留損失やハイパーパramータチューニングの必要性を排除すること。
• 教師ネットワークにおける冗長な特徴抽出や知識変換プロセスを回避することで、訓練の効率性を高めること。
• 多様なネットワークアーキテクチャとデータセットにおいて、提案手法の汎用性と頑健性を検証すること。

提案手法

• IAKDはトレーニング中に教師と学生のネットワーク間でブロックをランダムに交換し、各イテレーションで対応する教師のブロックに学生のブロックを置き換える。
• 交換された教師のブロックは、前の学生ブロックの出力を処理し、学生の後続層をガイドする強化された特徴マップを提供する。
• ブロック交換の頻度とタイミングを制御するための3種類の確率スケジュールを提案し、教師と学生間の相互作用ダイナミクスを最適化する。
• 相互作用自体が直接的な特徴注入によって知識伝達を駆動するため、追加の蒸留損失は不要である。
• 従来の知識蒸留手法と互換性があり、例えばIAKD-R+HKDのようにそれらと組み合わせて使用可能であり、性能をさらに向上できる。
• 教師ネットワークのフルフォワードパスを回避し、複雑な知識変換モジュールを排除することで、訓練が高速化される。

実験結果

リサーチクエスチョン

• RQ1 ブロック交換による教師と学生のネットワーク間の直接的相互作用は、従来の知識蒸留を上回る学生ネットワークの性能向上を実現できるか？
• RQ2 蒸留損失とハイパーパramータチューニングを排除することで、訓練の効率性と性能の安定性が向上するか？
• RQ3 学生ネットワークの特徴変換能力に制限がある状況で、相互作用メカニズムは知識伝達にどのように影響するか？
• RQ4 IAKDは多様な教師-学生アーキテクチャの組み合わせとデータセットに一般化可能か？
• RQ5 性能向上を最大化するためのブロック交換の最適なスケジューリング戦略は何か？

主な発見

• CIFAR-100では、IAKD-Rが安価なResNet-26学生を用いてTop-1精度70.94%を達成し、学生ベースラインの68.84%を上回り、すべての比較された対照的手法を上回った。
• TinyImageNetでは、IAKD-RがResNet-50x4教師を用いてTop-1精度72.79%を達成し、学生ベースラインの67.11%を上回り、すべての他の蒸留手法を上回った。
• TinyImageNetでは、ResNet-80/ResNet-26ペアを用いてIAKD-Rの訓練時間を4時間40分に短縮した。これは、HKD（6時間47分）やAT（11時間29分）を上回る速さであった。
• CIFAR-100でテストしたすべてのアーキテクチャの組み合わせにおいて、IAKD-RとIAKD-R+HKDは一貫して学生の性能を向上させたが、RKD-DA や AB などの対照的手法は複数の設定で失敗した。
• IAKD-RとHKDの組み合わせ（IAKD-R+HKD）は4つの設定のうち3つで最高の性能を達成し、VGG-11ではTop-1精度71.76%を記録した。これは教師の72.74%を上回る結果であった。
• 本手法は、ResNet、VGG、ShuffleNetアーキテクチャを含む多様な設定において頑健であることが示され、汎用性の高さが確認された。