[論文レビュー] Momentum Adversarial Distillation: Handling Large Distribution Shifts in Data-Free Knowledge Distillation

Kien Do, Hung Lê+6 more|arXiv (Cornell University)|Sep 21, 2022

COVID-19 diagnosis using AIMedicine被引用数 18

ひとこと要約

本論文では、知識蒸留における大きな分布シフトを軽減するため、生成器の指数的移動平均（EMA）コピーを維持することで知識移行を安定化させる、Momentum Adversarial Distillation（MAD）を提案する。学生モデルを現在の生成器およびEMA生成器から得られる合成データで訓練することで、Catastrophic forgettingを低減し、ImageNet や Places365 を含むベンチマークで最先端の性能を達成する。

ABSTRACT

Data-free Knowledge Distillation (DFKD) has attracted attention recently thanks to its appealing capability of transferring knowledge from a teacher network to a student network without using training data. The main idea is to use a generator to synthesize data for training the student. As the generator gets updated, the distribution of synthetic data will change. Such distribution shift could be large if the generator and the student are trained adversarially, causing the student to forget the knowledge it acquired at previous steps. To alleviate this problem, we propose a simple yet effective method called Momentum Adversarial Distillation (MAD) which maintains an exponential moving average (EMA) copy of the generator and uses synthetic samples from both the generator and the EMA generator to train the student. Since the EMA generator can be considered as an ensemble of the generator's old versions and often undergoes a smaller change in updates compared to the generator, training on its synthetic samples can help the student recall the past knowledge and prevent the student from adapting too quickly to new updates of the generator. Our experiments on six benchmark datasets including big datasets like ImageNet and Places365 demonstrate the superior performance of MAD over competing methods for handling the large distribution shift problem. Our method also compares favorably to existing DFKD methods and even achieves state-of-the-art results in some cases.

研究の動機と目的

• 急速な生成器更新によって生じる学生モデルの忘却を引き起こす、敵対的データフリー知識蒸留（DFKD）における大きな分布シフトの問題に対処すること。
• 特に ImageNet のような大規模データセットにおいて、元のトレーニングデータにアクセスできない状況下でも、知識移行の安定性と性能を向上させること。
• 生成器と共同で訓練する過程で学生モデルのCatastrophic forgettingを、歴史的な生成器状態を活用することで低減すること。
• 大規模データセットにおける有効な DFKD を実現するため、クラス条件付き生成器と、不正解のサンプルを抑制する新しい損失関数を導入すること。

提案手法

• 歴史的な知識を保持し、分布シフトを低減するために、生成器の指数的移動平均（EMA）コピーを維持する。
• 主な生成器および EMA 生成器から得られる合成データを用いて、学生ネットワークを訓練し、統合損失関数を用いる。
• ノイズベクトルとクラス埋め込みを入力として受けるクラス条件付き生成器を採用し、大規模データセットにおけるサンプル品質を向上させる。
• 生成器向けに、不正解の解を抑制する新しい損失関数を導入し、合成データの品質を向上させる。
• 学生の損失関数内で、EMA 生成データと主生成データの相対的寄与度を、学習可能な係数によって制御する。
• 安定性と適応性のバランスを取るために、減衰ハイパーパrameter α を用いたモーメンタムベースの EMA 更新を適用する。

実験結果

リサーチクエスチョン

• RQ1 生成器の EMA コピーを維持することで、大きな分布シフト下でのデータフリー知識蒸留におけるCatastrophic forgettingを軽減できるか？
• RQ2 現在の生成器に加えて EMA 生成器からの合成データを用いることで、単一の現在生成器からのデータ使用に比べ、学生モデルの性能が向上するか？
• RQ3 新しい損失関数を備えたクラス条件付き生成器は、ImageNet のような大規模データセットにおける有効な DFKD を可能にするか？
• RQ4 学生の訓練目的関数において、現在生成データと EMA 生成データの最適なバランスは何か？
• RQ5 MAD は、特に挑戦的なベンチマークにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• MAD は、ImageNet や Places365 を含む複数のベンチマークで最先端の性能を達成し、既存のデータフリー知識蒸留手法を上回る。
• CIFAR100 では、λ₀ = λ₁ = 1.0 の最適な係数設定で 64.05% のテスト精度を達成し、いずれの係数も 0 に低下させると性能が劣化する。
• モーメンタムハイパーパrameter α は顕著な影響を持つ：α = 0.99 のときに性能がピークに達し、α = 1.0 では急激に低下する。これは、生成器の更新が遅すぎる場合に学習に悪影響を与えることを示唆している。
• 学生の更新ステップ数を増やすことで性能が向上し、より多くのトレーニングステップが教師モデルとの知識整合性を高めることを確認した。
• 新しい損失関数を備えたクラス条件付き生成器は、不正解のサンプルが頻発するため、無条件生成器ではしばしば失敗する大規模データセットでも安定した訓練を可能にする。
• EMA 生成器により、学生モデルが過去の知識を再取得できるため、MAD は、主生成器ほど急激な分布シフトにさらされないため、Catastrophic forgetting を低減する。