[論文レビュー] Defending Against Machine Learning Model Stealing Attacks Using Deceptive Perturbations

Taesung Lee, Ben Edwards+2 more|arXiv (Cornell University)|May 31, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 31

ひとこと要約

本稿では、機械学習モデルの盗作攻撃に対する防御を提案する。この手法は、出力確率に偽の摂動を注入することで、トップ-1の正確性を維持しながら、攻撃者が確率スコアを棄却するように仕向ける。防御は、防御に気づいている攻撃者に対しても、盗作モデルの正確性を最低20%以上低下させたり、クエリコストを最大64倍にまで引き上げたりするが、保護されたモデルの有用性への影響は最小限に抑えられる。

ABSTRACT

Machine learning models are vulnerable to simple model stealing attacks if the adversary can obtain output labels for chosen inputs. To protect against these attacks, it has been proposed to limit the information provided to the adversary by omitting probability scores, significantly impacting the utility of the provided service. In this work, we illustrate how a service provider can still provide useful, albeit misleading, class probability information, while significantly limiting the success of the attack. Our defense forces the adversary to discard the class probabilities, requiring significantly more queries before they can train a model with comparable performance. We evaluate several attack strategies, model architectures, and hyperparameters under varying adversarial models, and evaluate the efficacy of our defense against the strongest adversary. Finally, we quantify the amount of noise injected into the class probabilities to mesure the loss in utility, e.g., adding 1.26 nats per query on CIFAR-10 and 3.27 on MNIST. Our evaluation shows our defense can degrade the accuracy of the stolen model at least 20%, or require up to 64 times more queries while keeping the accuracy of the protected model almost intact.

研究の動機と目的

• クラウドベースの推論APIを通じた機械学習モデルの盗作攻撃の増加する脅威に対処すること。攻撃者はモデルの信頼度スコアを用いて特許を取得したモデルを再現する。
• 保護されたモデルの高い有用性を維持しつつ、盗作モデルの性能を著しく低下させること。
• 攻撃者が防御メカニズムを認識している場合でも、確率ベースのクエリを放棄させ、代わりに遅いラベルオンative攻撃に切り替えること。
• 攻撃者が防御を認識しており、ノイズの逆転や代替損失関数を用いる高度な攻撃に対しても、防御の強度を評価すること。

提案手法

• トップ-1予測を保持しつつ、信頼度スコアを歪めるために、出力確率に可逆的で非線形な摂動層「Reverse Sigmoid」を適用する。
• ソフトマックスの前に、ロジットに制御されたノイズを注入することで、攻撃者には誤った確率値が提示されるが、正当なユーザーにとっては正しい予測クラスが保持される。
• 摂動は曖昧に設計されており、複数の元のロジットが同じ確率値にマッピングされるため、勾配ベースのモデル逆転や転移学習が困難になる。
• 攻撃戦略の多様な評価：確率ベースのクエリ（例：Sample）、ラベルオンリークエリ（Argmax）、ノイズ逆転やMSE損失最適化を含む防御認識攻撃。
• 実世界の逆工程化攻撃を模倣するため、線形回帰と多層パーセプトロン（MLP）モデルを用いて摂動の逆転を試みる。
• KLダイバージェンスとnatsを用いて有用性の損失を定量的に評価し、盗作モデルの成功度をモデル整合性、コサイン類似度、および正確性で測定する。

実験結果

リサーチクエスチョン

• RQ1 トップ-1正確性を維持する防御が、信頼度スコアを用いる攻撃者に対しても、盗作モデルの性能を著しく低下させられるか？
• RQ2 防御を認識している攻撃者が、防御を逆転または適応させようとした場合、この防御はどの程度効果的か？
• RQ3 この防御は、成功するモデル盗作に必要なクエリ予算をどの程度増加させるか？
• RQ4 攻撃者は逆転攻撃を通じて元のモデルの確率分布を回復できるか？ その性能はどの程度か？
• RQ5 この防御は、多様なデータセット、アーキテクチャ、攻撃パラメータに対してどの程度有効か？

主な発見

• すべての評価対象のデータセットとアーキテクチャにおいて、防御は盗作モデルの正確性を最低20%以上低下させる。強力な攻撃条件下でも同様の効果を示す。
• 確率スコアが無視される場合、攻撃に最大64倍のクエリが必要となり、攻撃者はArgmaxオンativeベースラインに頼らざるを得なくなる。
• CIFAR-10では1クエリあたり1.26 natsのノイズが注入され、MNISTでは3.27 natsであるが、保護されたモデルの正確性への影響は最小限である。
• 防御パrameterを完全に把握しているにもかかわらず、攻撃者は有用な確率分布を回復できない。MLPによる逆転では0.22の整合性しか得られず、Argmaxオンライントのベースライン（0.78）とは大きく差を示す。
• 摂動マッピングの本質的な曖昧さのおかげで、同じ防御レイヤーやMSE損失を用いた攻撃に対しても、Reverse Sigmoid防御は効果を発揮する。
• 正当なユーザーにとっての有用性を高める一方で、盗作モデルの一般化性能と転移性を著しく低下させ、特に adversarial example 生成において顕著である。