[論文レビュー] Zero-Shot Knowledge Distillation from a Decision-Based Black-Box Model

Zi Wang|arXiv (Cornell University)|Jun 7, 2021

Advanced Neural Network Applications参考文献 36被引用数 14

ひとこと要約

本稿では、ハードラベル予測のみを返すブラックボックス教師モデルから知識を蒸留することで、コンactな学生ネットワークを訓練する手法であるゼロショット意思決定ベースブラックボックス知識蒸留（ZSDB3KD）を提案する。意思決定境界からの距離を最大化するようにノイズの入力を段階的に最適化することで、訓練データや教師パラメータにアクセスできない状況でも、堅牢な仮想サンプルを生成し、そのソフトラベルを用いて効果的な蒸留を可能にする。AlexNet-Halfを用いたCIFAR-10では59.46%の精度を達成した。

ABSTRACT

Knowledge distillation (KD) is a successful approach for deep neural network acceleration, with which a compact network (student) is trained by mimicking the softmax output of a pre-trained high-capacity network (teacher). In tradition, KD usually relies on access to the training samples and the parameters of the white-box teacher to acquire the transferred knowledge. However, these prerequisites are not always realistic due to storage costs or privacy issues in real-world applications. Here we propose the concept of decision-based black-box (DB3) knowledge distillation, with which the student is trained by distilling the knowledge from a black-box teacher (parameters are not accessible) that only returns classes rather than softmax outputs. We start with the scenario when the training set is accessible. We represent a sample's robustness against other classes by computing its distances to the teacher's decision boundaries and use it to construct the soft label for each training sample. After that, the student can be trained via standard KD. We then extend this approach to a more challenging scenario in which even accessing the training data is not feasible. We propose to generate pseudo samples distinguished by the teacher's decision boundaries to the largest extent and construct soft labels for them, which are used as the transfer set. We evaluate our approaches on various benchmark networks and datasets and experiment results demonstrate their effectiveness. Codes are available at: https://github.com/zwang84/zsdb3kd.

研究の動機と目的

• 教師モデルがクラス確率ではなくハードラベルのみを出力する意思決定ベースのブラックボックスである場合の知識蒸留の課題に対処すること。
• プライバシー制約やストレージ制約により訓練データやモデルパラメータが入手できない実世界のシナリオにおいても、知識移転を可能にすること。
• ブラックボックス教師から高品質な仮想サンプルを生成し、そのソフトラベルを用いて蒸留を行うゼロショットアプローチを開発すること。
• データアクセス可能な状況と不可能な状況の両方で、ベンチマークデータセット上での本手法の有効性を示すこと。

提案手法

• 本手法は、各訓練サンプルの教師モデルの意思決定境界からの距離（ロバストネス）を測定することでソフトラベルを構築し、勾配方向の推定を複数回のクエリによって行う。
• データにアクセスできない状況では、意思決定境界からの距離を最大化するようにランダムノイズを最適化することで仮想サンプルを生成し、実際の訓練データ分布を模倣する。
• 最適化プロセスでは、ブラックボックス教師への複数回のクエリにより得られる勾配推定値を用いて、サンプルを意思決定境界から遠ざける。
• ソフトラベルは、異なるクラスに対するサンプルの相対的ロバストネスに基づいて導出され、学生ネットワークの標準的な知識蒸留訓練が可能になる。
• 本手法は、実際の訓練サンプルがアドバーシャルサンプルやランダムサンプルよりも本質的にロバスト（意思決定境界から遠い）であるという事実を活用している。
• 白ボックスのパラメータアクセスをクエリベースの境界推定に置き換えることで、ゼロショットKDをブラックボックス設定に拡張する。

実験結果

リサーチクエスチョン

• RQ1 教師モデルがハードラベルのみを出力し、モデルパラメータや訓練データにアクセスできない状況でも、知識蒸留を効果的に行うことができるか？
• RQ2 クラス確率にアクセスできない意思決定ベースのブラックボックス教師から、ソフトラベルをどのように構築できるか？
• RQ3 意思決定境界からの距離を最大化するように最適化された仮想サンプルは、蒸留の目的で真のデータ分布を効果的に表現できるか？
• RQ4 訓練データや教師パラメータにアクセスできない状況において、学生モデルの性能は標準的なKDと比べてどうなるか？

主な発見

• CIFAR-10でAlexNet-Halfを用いた場合、ZSDB3KDは訓練データや教師のソフトマックス出力にアクセスせずに59.46%のテスト精度を達成し、ランダムノイズ入力（13.53%および14.79%）を上回った。
• 訓練データにアクセス可能な状況では、DB3KDがFLOWERS102で競争力ある性能を示し、制約の少ない環境下での有効性を確認した。
• 1000イテレーション後、生成された仮想サンプルは視覚的に整合性があり、認識可能で、平均化された画像は実際のデータ分布に類似していた。
• 1クラスあたり1,000個の仮想サンプルのみを用いても、MNISTでは94%のテスト精度を達成し、完全なアクセスが可能な標準KDに近い性能を示した。
• イテレーション回数やサンプル数を増やすことで性能が向上し、1クラスあたり8,000サンプルで飽和が観察されたことから、スケーラビリティが確認された。
• アブレーションスタディにより、生成されたサンプルの品質と学生モデルの性能が、最適化ステップ数および使用する仮想サンプル数に強く依存することが確認された。