[論文レビュー] Exploring Connections Between Active Learning and Model Extraction

Varun Chandrasekaran, Kamalika Chaudhuri+3 more|arXiv (Cornell University)|Nov 5, 2018

Adversarial Robustness in Machine Learning参考文献 74被引用数 24

ひとこと要約

この論文は、クエリ合成アクティブラーニングとの直接的な類似性に着目し、Machine Learning-as-a-Service (MLaaS) システムにおけるモデル抽出を形式化する。これにより、アクティブラーニング手法が効率的なモデル抽出攻撃に再利用可能であることが示される。主な貢献は、予測出力のみを提供する環境でも強力で低クエリ数の攻撃が実現可能であることを示し、データ依存性のランダム化が有望な防御方向性であることを示している。

ABSTRACT

Machine learning is being increasingly used by individuals, research institutions, and corporations. This has resulted in the surge of Machine Learning-as-a-Service (MLaaS) - cloud services that provide (a) tools and resources to learn the model, and (b) a user-friendly query interface to access the model. However, such MLaaS systems raise privacy concerns such as model extraction. In model extraction attacks, adversaries maliciously exploit the query interface to steal the model. More precisely, in a model extraction attack, a good approximation of a sensitive or proprietary model held by the server is extracted (i.e. learned) by a dishonest user who interacts with the server only via the query interface. This attack was introduced by Tramer et al. at the 2016 USENIX Security Symposium, where practical attacks for various models were shown. We believe that better understanding the efficacy of model extraction attacks is paramount to designing secure MLaaS systems. To that end, we take the first step by (a) formalizing model extraction and discussing possible defense strategies, and (b) drawing parallels between model extraction and established area of active learning. In particular, we show that recent advancements in the active learning domain can be used to implement powerful model extraction attacks, and investigate possible defense strategies.

研究の動機と目的

• 予測（オракル）アクセスのみを提供するMLaaSシステムにおけるモデル抽出を形式化し、信頼性スコアなどの補助情報が存在しない状況を想定する。
• クエリ制限やモデルに関する事前知識の欠如といった現実的な制約下でのモデル抽出攻撃の実現可能性と効率性を調査する。
• モデル抽出とアクティブラーニング、特にクエリ合成フレームワークとの関係を調査し、既存のアクティブラーニングアルゴリズムを攻撃構築に活用する。
• モデル抽出に対する防御戦略を同定・評価するが、特にモデルランダマイゼーションに焦点を当てる。
• MLaaSシステムに対するモデル盗難から理解し、保護するための基盤フレームワークを確立する。

提案手法

• 攻撃者がクエリ数を最小限に抑えてターゲットモデルを再構築することを目的とするアクティブラーナーとして振る舞う、クエリ合成アクティブラーニング問題としてモデル抽出を形式化する。
• 不確実性サンプリングや意見の不一致に基づくクエリに依存するアクティブラーニングのクエリ合成アルゴリズムを、モデル抽出に応用する。
• 情報量を最大化するための悪意のある入力を生成するアクティブラーニング戦略を用いて、半空間モデル（バイナリ分類器）に対して攻撃を実装する。
• モデル類似度（真の半空間と抽出された半空間の幾何的誤差など）と保留データにおける汎化誤差を用いて攻撃の成功度を測定する。
• 特にデータ依存性のランダム化（例：モデルランダマイゼーション）を用いた防御戦略を評価し、攻撃者がモデルを再構築する能力を阻害するかを検証する。
• アクティブラーニングにおける理論的バウンダリー（例：ラベル複雑度）を用いて、モデル抽出攻撃のクエリ効率を分析する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニング手法は、予測アクセスのみを提供するMLaaSシステムにおいて、効率的なモデル抽出に再利用可能か？
• RQ2 モデル抽出のクエリ複雑度は、受動学習と比べてどの程度で、クエリ戦略の選択が果たす役割は何か？
• RQ3 既存のアクティブラーニングアルゴリズムをモデル抽出に適用した場合の限界は何か。特に、汎化誤差や初期データの仮定に関する観点から。
• RQ4 データ依存性のランダム化防御は、モデル抽出攻撃の緩和にどの程度効果的か？
• RQ5 モデル抽出攻撃は、線形半空間モデルを超えて、深層ニューラルネットワークやランダムフォレストなどの非線形モデルへどの程度拡張可能か？

主な発見

• モデル抽出はクエリ合成アクティブラーニング問題として形式化可能であり、これにより高度なアクティブラーニングアルゴリズムを用いて、モデル再構築に必要なクエリ数を最小限に抑えることができる。
• 理論的分析により、モデル抽出におけるクエリ複雑度は、所望の精度の逆数に対して対数的から線形的まで変動しうり、既知のアクティブラーニングのバウンダリーと一致することが示された。
• 実験により、クエリ合成を用いるアクティブラーニングベースの攻撃は、受動学習法に比べてはるかに少ないクエリ数で高いモデル忠実度を達成していることが確認された。
• 真の半空間と抽出された半空間の幾何的誤差は、モデル類似度の強力な指標ではあるが、必ずしも汎化誤差と完全に相関するわけではない。
• データ依存性のランダム化、特にモデルランダマイゼーションは、攻撃者がモデルを再構築する能力を阻害する強力な防御メカニズムであると特定された。
• 本論文は、モデル抽出が単に実現可能であるのではなく、適切なクエリ戦略を用いれば極めて効率的に行えることを確立しており、MLaaSシステムにおけるより強固な防御策の必要性を浮き彫りにしている。