[論文レビュー] A framework for the extraction of Deep Neural Networks by leveraging public data

Soham Pal, Yash Gupta+4 more|arXiv (Cornell University)|May 22, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用数 41

ひとこと要約

本論文は、 universal thief datasets とアクティブラーニングを用いて、限定されたクエリ予算の下で秘密の MLaaS モデルを近似する実用的な DNN モデル抽出フレームワークを提案する。

ABSTRACT

Machine learning models trained on confidential datasets are increasingly being deployed for profit. Machine Learning as a Service (MLaaS) has made such models easily accessible to end-users. Prior work has developed model extraction attacks, in which an adversary extracts an approximation of MLaaS models by making black-box queries to it. However, none of these works is able to satisfy all the three essential criteria for practical model extraction: (1) the ability to work on deep learning models, (2) the non-requirement of domain knowledge and (3) the ability to work with a limited query budget. We design a model extraction framework that makes use of active learning and large public datasets to satisfy them. We demonstrate that it is possible to use this framework to steal deep classifiers trained on a variety of datasets from image and text domains. By querying a model via black-box access for its top prediction, our framework improves performance on an average over a uniform noise baseline by 4.70x for image tasks and 2.11x for text tasks respectively, while using only 30% (30,000 samples) of the public dataset at its disposal.

研究の動機と目的

• MLaaS におけるモデルプライバシーの懸念を喚起し、実務的な抽出が秘密の DNN に対する脅威である理由を説明する。
• universal public datasets を thief data として活用し、アクティブラーニングで置換モデルを構築するフレームワークを提案する。
• 限定的なクエリで画像およびテキスト領域の DNN を抽出できることを示す。
• 抽出性能を向上させるための ensemble active learning 戦略を導入する。

提案手法

• 画像とテキストのための universal thief datasets を定義する（例：Vision の ImageNet、NLP の WikiText）。
• プールベースのアクティブラーニングを用いて秘密モデルを照会するための thief データセットから有益なサンプルを選択する。
• 照会済み thief データから得られたラベル付きサンプルを用いて置換モデルを訓練し、追加の照会を重ねて反復的に精度を高める。
• 予算内で情報ゲインを最大化するために、サブセット選択戦略（random、uncertainty、k-center、adversarial、DFAL）を適用する。
• 不確実性、多様性、境界に焦点を当てたサンプリングを組み合わせる ensemble Adversarial+-kcenter 戦略を提案する。
• テストセット上の secret と substitute モデルの Agreement を評価する。

実験結果

リサーチクエスチョン

• RQ1 universal thief datasets はドメイン知識なしで深層ニューラルネットワーク抽出を可能にしますか？
• RQ2 アクティブラーニングは秘密モデルとの高い Agreement を達成するために必要なクエリ数にどのように影響しますか？
• RQ3 画像およびテキストタスクにおいて universal thief datasets は uniform-noise を上回りますか？
• RQ4 異なるサブセット選択戦略が抽出性能に与える影響は何ですか？
• RQ5 アンサンブル戦略は個別のアクティブラーニング戦略より抽出性能を向上させますか？

主な発見

• The framework achieves higher agreement than uniform-noise baselines by 4.70x (image) and 2.11x (text) on average at a 30K query budget.
• Universal thief datasets effectively substitute for domain-specific data for both vision and NLP tasks.
• Ensemble Adversarial+-kcenter strategy improves extraction performance by combining boundary-focused and diverse sampling.
• Active learning strategies substantially reduce query requirements while maintaining high agreement across multiple datasets.
• For image tasks, agreements at 30K queries range across strategies, with full-thief-data and uniform-noise baselines providing context (e.g., full thief data yields 98.81% on MNIST variant).
• The approach demonstrates practical feasibility of DNN extraction under realistic query budgets.