[論文レビュー] IDEAL: Query-Efficient Data-Free Learning from Black-box Models

Jie Zhang, Chen Chen+1 more|arXiv (Cornell University)|May 23, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文では、ブラックボックス教師モデルのハードラベル出力のみを用いて学生モデルを訓練する、クエリ効率的でデータフリーな知識蒸留手法IDEALを提案する。データ生成とモデル蒸留を分離し、1サンプルあたり教師モデルを1回しかクエリしないことで、従来手法と比較してクエリコストを50倍削減し、SOTA性能を達成。CIFAR-10ではクエリ予算の2%で5.83%の精度向上を達成。

ABSTRACT

Knowledge Distillation (KD) is a typical method for training a lightweight student model with the help of a well-trained teacher model. However, most KD methods require access to either the teacher's training data or model parameters, which is unrealistic. To tackle this problem, recent works study KD under data-free and black-box settings. Nevertheless, these works require a large number of queries to the teacher model, which incurs significant monetary and computational costs. To address these problems, we propose a novel method called \emph{query-effIcient Data-free lEarning from blAck-box modeLs} (IDEAL), which aims to query-efficiently learn from black-box model APIs to train a good student without any real data. In detail, IDEAL trains the student model in two stages: data generation and model distillation. Note that IDEAL does not require any query in the data generation stage and queries the teacher only once for each sample in the distillation stage. Extensive experiments on various real-world datasets show the effectiveness of the proposed IDEAL. For instance, IDEAL can improve the performance of the best baseline method DFME by 5.83% on CIFAR10 dataset with only 0.02x the query budget of DFME.

研究の動機と目的

• 教師データへのアクセスなし、モデルパラメータへのアクセスなし、ハードラベル出力のみ、かつクエリ予算が限られているという現実的な制約下で、高性能な学生モデルを訓練することに挑戦する。
• 商用APIなど実世界の応用においてコストがかかるブラックボックス教師モデルへのクエリ回数を削減すること。
• 教師モデルのパラメータや学習データにアクセスできない状況でも、高い性能を維持できるデータフリーな知識蒸留フレームワークを開発すること。
• データやモデルへのアクセスが制限されるエッジデバイス環境での、軽量な学生モデルの実用的導入を可能にすること。

提案手法

• IDEALは2段階で学生モデルを訓練する：データ生成段階とモデル蒸留段階。データ生成段階ではクエリを一切必要としない。
• 蒸留段階では、合成サンプル1つあたり教師モデルを1回しかクエリしない。これによりクエリコストが著しく削減される。
• 教師モデルからの勾配推定を必要とせず、情報損失と交差エントロピー損失の組み合わせを用いて、生成ネットワークがデータを合成する。
• 各訓練エポックの開始時に生成ネットワークを再初期化することで、過去の生成ネットワーク状態に依存しなくなり、安定的で効率的な訓練が可能になる。
• 学生モデルは合成データと教師のハードラベル予測からの知識蒸留の両方を用いて訓練される。
• データ生成段階では、特徴の多様性を確保するための$L_{infor}$と、クラス分類能を高めるための$L_{ce}$の2つの損失を組み合わせた二重損失目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス教師モデルからのハードラベル出力のみが提供され、クエリ回数が著しく制限された状況下でも、学生モデルが高い性能を達成できるか？
• RQ2 教師モデルのパラメータや学習データにアクセスできない状況でも、知識蒸留用に高品質な合成データを生成できるか？
• RQ3 教師モデルとの相互作用を最小限に抑えつつ、モデル性能を維持するための訓練プロセスはどのように構築すべきか？
• RQ4 データフリーでブラックボックスかつハードラベル設定下で、効果的なデータ生成と蒸留を実現するための必須要素は何か？

主な発見

• IDEALは、最良のベースライン（DFME）と比較して、CIFAR-10データセットで5.83%の精度向上を達成したが、クエリ予算は2%にまで削減された。
• 200Kのクエリ予算で、IDEALはCIFAR-10で63.77%のトップ1精度を達成。DFME や ZSDB3 ですら1000万クエリを許可された場合でさえ、IDEALに劣る性能であった。
• 可視化結果から、IDEALはDFME や ZSDB3 よりも多様で意味のある合成データを生成しているのに対し、後者は低品質または極めて類似したサンプルを生成していることが明らかになった。
• アブレーションスタディの結果、情報損失（$L_{infor}$）と交差エントロピー損失（$L_{ce}$）の両方が性能向上に不可欠であることが確認され、いずれかを除去すると顕著な性能低下が生じた。
• 生成ネットワークの再初期化戦略は不可欠であり、これを削除するとCIFAR-10で10.9%の精度低下が発生した。これは、訓練の安定性を高める役割を果たしていることを示している。
• データ生成段階での最適な$E_{τ}$値はバランスが取れた値であり、小さすぎても大げさすぎても性能が劣化することが判明した。