[論文レビュー] Thief, Beware of What Get You There: Towards Understanding Model Extraction Attack

Xinyi Zhang, Chengfang Fang+1 more|arXiv (Cornell University)|Apr 13, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用数 8

ひとこと要約

本稿は、攻撃者が事前学習済みモデルや分布内データにアクセスできない状況におけるモデル抽出攻撃を調査し、適応的ディープレインフォースメントラーニング（DRL）ベースのフレームワークを用いて、効果的な抽出が依然として可能であることを示している。この手法はクエリ生成とモデル設定を動的に最適化し、ラベル付きデータがゼロの状況でベースライン手法を上回る性能を示しており、データの秘密保全に依存するモデル機密性は不十分であることが明らかになった。

ABSTRACT

Model extraction increasingly attracts research attentions as keeping commercial AI models private can retain a competitive advantage. In some scenarios, AI models are trained proprietarily, where neither pre-trained models nor sufficient in-distribution data is publicly available. Model extraction attacks against these models are typically more devastating. Therefore, in this paper, we empirically investigate the behaviors of model extraction under such scenarios. We find the effectiveness of existing techniques significantly affected by the absence of pre-trained models. In addition, the impacts of the attacker's hyperparameters, e.g. model architecture and optimizer, as well as the utilities of information retrieved from queries, are counterintuitive. We provide some insights on explaining the possible causes of these phenomena. With these observations, we formulate model extraction attacks into an adaptive framework that captures these factors with deep reinforcement learning. Experiments show that the proposed framework can be used to improve existing techniques, and show that model extraction is still possible in such strict scenarios. Our research can help system designers to construct better defense strategies based on their scenarios.

研究の動機と目的

• 攻撃者が事前学習済みモデルや分布内データにアクセスできない状況におけるモデル抽出攻撃の有効性を調査すること。これは、実世界のAIaaS展開において一般的な状況である。
• 攻撃者のハイパーパrameter（例：モデルアーキテクチャや最適化手法）が抽出成功に与える影響を分析し、標準的な学習とは逆説的な挙動を明らかにすること。
• データが不足する、あるいはデータなしの状況におけるクエリデータの質と生成戦略の役割を評価すること。特に、ラベル付きの分布内データが一切存在しない状況での影響を検討すること。
• 深層強化学習を用いてクエリ戦略とモデル設定を同時に最適化する適応的フレームワークを開発し、事前知識が限られた状況でも抽出性能を向上させること。
• データの秘密保全に依存するモデル機密性が脆弱であることを実証し、商業的AIサービスにおけるより強固な防御メカニズムの必要性を示すこと。

提案手法

• 攻撃者が報酬信号に基づいて敵対的サンプルを選択するエージェントを通じて、最適なクエリ生成戦略を学習するDRLベースのフレームワークを提案する。
• 交差エントロピー損失、出力範囲正則化、標準偏差、平均活性化を組み合わせたマルチコンponent報酬関数を導入し、DRLエージェントが効果的なモデル抽出に向かって誘導されるようにする。
• 初期学習段階でガウスノイズを用いた探索を伴う、アクトアクリティックアーキテクチャ（DDPG）を用いてDRLエージェントをスクラッチから訓練する。
• FGSMベースのクエリ生成プロセスにおいて、ノイズの大きさと摂動戦略を動的に調整するコントローラーエージェントを導入する。
• 攻撃者のデータプール（$D_a$）にラベルなしまたはランダムに抽出された画像しか含まれない、データフリーまたは限定的データの設定を採用し、実世界の制約を模擬する。
• ファッションMNISTで訓練された被害者モデルを用いてフレームワークを検証し、クエリ予算を$10^4$に設定。ランダムノイズおよびランダムコントローラーベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が事前学習済みモデルや分布内学習データにアクセスできない状況では、モデル抽出はどの程度有効に機能するのか？
• RQ2 攻撃者のハイパーパrameter（例：モデルアーキテクチャや最適化手法）は、低知識状況における抽出パフォーマンスにどのように影響を与えるのか？
• RQ3 ラベル付きデータが存在しない状況で、クエリデータの分布と生成戦略はモデル抽出にどのような役割を果たすのか？
• RQ4 深層強化学習エージェントは、固定手法と比較して、顕著に性能を向上させる適応的クエリを学習できるのか？
• RQ5 データフリーの状況では、どの程度までモデル抽出が成功するのか？また、これはデータの秘密保全に依存するAIモデルのセキュリティにどのような含意をもたらすのか？

主な発見

• 分布内データがまったく存在しない状況でも、モデル抽出が有効に機能することが確認され、提案されたDRLベースの手法はデータフリー設定下でファッションMNISTに対して54.7%のトップ-1精度を達成した。
• DRLベースのフレームワークは、ランダムノイズおよびランダムコントローラーベースラインを上回り、20枚のラベルなし分布内画像を用いた限定的データ状況でも75.2%の精度を達成した。
• テストされた設定において、Adam最適化手法はSGDよりも著しく低い抽出パフォーマンスを示し、通常の学習における直感とは逆転した結果となった。
• 通常の学習では過学習を引き起こす学習率や訓練エポック数が、モデル抽出では有益であることが判明し、逆説的な学習ダイナミクスを示した。
• フレームワークの適応的クエリ生成戦略により、手動によるデータキューレーションへの依存が軽減され、事前知識が最小限の状況でも効果的な抽出が可能になった。
• 結果から、データの秘密保全に依存するモデル機密性は不十分であることが示され、攻撃者がDRL最適化クエリを用いて機能的なモデルを抽出可能であることが明らかになった。