[論文レビュー] Data-Free Adversarial Distillation

Gongfan Fang, Jie Song+4 more|arXiv (Cornell University)|Dec 23, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 103

ひとこと要約

本論文は Data-Free Adversarial Distillation (DFAD) を提案する。データを使わないデータ信号を生成するため、ジェネレータと教師-学生識別器を共同で用い、モデルの乖離に関する最適化可能な上界を最小化する二段階の対立フレームワークである。セマンティックセグメンテーションへも拡張され、データ駆動法と競争力のある結果を達成する。

ABSTRACT

Knowledge Distillation (KD) has made remarkable progress in the last few years and become a popular paradigm for model compression and knowledge transfer. However, almost all existing KD algorithms are data-driven, i.e., relying on a large amount of original training data or alternative data, which is usually unavailable in real-world scenarios. In this paper, we devote ourselves to this challenging problem and propose a novel adversarial distillation mechanism to craft a compact student model without any real-world data. We introduce a model discrepancy to quantificationally measure the difference between student and teacher models and construct an optimizable upper bound. In our work, the student and the teacher jointly act the role of the discriminator to reduce this discrepancy, when a generator adversarially produces some "hard samples" to enlarge it. Extensive experiments demonstrate that the proposed data-free method yields comparable performance to existing data-driven methods. More strikingly, our approach can be directly extended to semantic segmentation, which is more complicated than classification, and our approach achieves state-of-the-art results. Code and pretrained models are available at https://github.com/VainF/Data-Free-Adversarial-Distillation.

研究の動機と目的

• 実世界のシナリオで元の訓練データが利用できない場合の知識蒸留を動機づける。
• 実データなしで教師-学生モデルの乖離を近似・最小化するデータフリーなフレームワークを提案する。
• データがない状態で難しいサンプルを絶えず作成して学生を改善する対立訓練メカニズムを開発する。
• データフリー蒸留をセマンティックセグメンテーションへ拡張し、競争力のある性能を示す。

提案手法

• モデル乖離 D(T,S) を教師 T と学生 S の間の乖離として定義し、訓練サンプルを生成するジェネレータ G で近似する。
• 二段階の対立過程を用いる：模倣ステージ（G からのサンプル上の MAE 損失を用いて乖離を最小化）と生成ステージ（安定な log-MAE 目的関数を用いて G を最適化して乖離を最大化）。
• 実データが欠如する中で安定した勾配を確保しジェネレータ崩壊を防ぐために MAE を乖離損失として採用する。
• 生成されたサンプルを難易度の高いタイプと容易なタイプに分割し、乖離を境界づけ、ジェネレータが挑戦的で有益なサンプルを生み出すよう導く。
• 生成サンプル上で S が T を模倣するよう反復的に更新し、同時に G をより難しいサンプルを生成するよう更新して、S が機能的に T と同一性を欠くほど近づくことを目指す。
• 安定性の指針を提供（例：模倣ステップを k=5 に固定、セグメンテーションには L_GEN-ADA を使用）して robust な訓練を確保する。

実験結果

リサーチクエスチョン

• RQ1 データフリー蒸留フレームワークは分類とセグメンテーションのタスクでデータ駆動型 KD 手法の性能に匹敵できるか？
• RQ2 実データなしで教師と学生モデルの乖離をどのように定量化し最小化できるか？
• RQ3 敵対的に生成されたサンプルを、元データがない状態で競争力のある学生モデルを訓練するために効果的に使用できるか？
• RQ4 提案フレームワークはセグメンテーションタスクへ拡張して競争力のある結果を得られるか？

主な発見

• 提案された DFAD フレームワークは分類データセット上でデータ駆動型蒸留ベースラインと比較して競争力のある性能を示す。
• データフリー手法の中で、このアプローチはいくつかの分類ベンチマークで最高精度を達成しており（分類結果は他のデータフリーアプローチより優れている）。
• 本手法は自然にセマンティックセグメンテーションへ拡張され、CamVid と NYUv2 で競争力のある mIoU を達成し、他のデータフリー手法を上回る。
• 生成サンプルは多様性を保ち、モード崩壊を解決し、訓練中に有益な監視を提供する。
• MAE ベースの乖離損失は安定した勾配を提供し、ジェネレータに対する他の損失選択肢（例：MSE, KLD）より優れている。