[論文レビュー] Stealing Hyperparameters in Machine Learning

Binghui Wang, Neil Zhenqiang Gong|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning参考文献 51被引用数 53

ひとこと要約

論文は、学習モデルパラメータが(ほぼ)極小となることを利用して目的関数に使用されるハイパーパラメータを推定するハイパーパラメータ盗用攻撃を導入し、複数のMLアルゴリズムにわたる理論的・実証的評価を提供する一般的なフレームワークを提示する。さらに丸めを防御として評価し、対策を論じる。

ABSTRACT

Hyperparameters are critical in machine learning, as different hyperparameters often result in models with significantly different performance. Hyperparameters may be deemed confidential because of their commercial value and the confidentiality of the proprietary algorithms that the learner uses to learn them. In this work, we propose attacks on stealing the hyperparameters that are learned by a learner. We call our attacks hyperparameter stealing attacks. Our attacks are applicable to a variety of popular machine learning algorithms such as ridge regression, logistic regression, support vector machine, and neural network. We evaluate the effectiveness of our attacks both theoretically and empirically. For instance, we evaluate our attacks on Amazon Machine Learning. Our results demonstrate that our attacks can accurately steal hyperparameters. We also study countermeasures. Our results highlight the need for new defenses against our hyperparameter stealing attacks for certain machine learning algorithms.

研究の動機と目的

• 機械学習におけるハイパーパラメータの機密性リスクを交差検証と専有アルゴリズムによって動機づける。
• 学習済みモデルからハイパーパラメータを推定する一般的な攻撃フレームワークを提案する。
• フレームワークが線形・カーネル・一部のニューラルネットワーク設定に適用できることを示す。
• 攻撃の有効性に関する理論的保証と実証的証拠を提供する。
• 丸めベースの防御を評価し、アルゴリズム全体にわたるセキュリティへの影響を論じる。

提案手法

• 学習済みパラメータで目的関数の勾配を計算し、それをゼロに設定してハイパーパラメータとモデルパラメータを結ぶ方程式を導出する。
• これらの方程式から過剰決定な線形系を形成し、線形最小二乗法を用いてハイパーパラメータを推定する。
• 非カーネルとカーネルアルゴリズムで、それぞれ適切に w ベクトルまたは alpha ベクトルを用いて手法を区別する。
• 微分不可能性に対処するため、微分可能な次元/インスタンスを用いて a ベクトルおよび b ベクトルを形成する。
• 必要に応じて a ベクトルを行列へ拡張することで、複数のハイパーパラメータにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 目的関数のハイパーパラメータは、学習済みモデルのパラメータから正確に回復できるか？
• RQ2 攻撃フレームワークは線形・カーネル・特定のニューラルネットワーク設定にどのように適用されるか？
• RQ3 学習済みパラメータが目的関数の正確な極小値またはほぼ極小値である場合の理論的保証は何か？
• RQ4 ハイパーパラメータ盗用に対する防御として丸めはどれくらい効果的か？
• RQ5 異なる正則化項や損失関数は、これらの攻撃に対するセキュリティ特性に影響を与えるか？

主な発見

• 学習済みパラメータが正確な極小値である場合、攻撃は真のハイパーパラメータを正確に回復できる。
• 学習済みパラメータが極小値に近いとき、推定誤差はそのずれと線形に関連する。
• このフレームワークはリッジ、LASSO、カーネルリッジ、SVMの派生、ロジスティック回帰、および一部のニューラルネットワーク文脈に適用でき、実データセットで実証的な成功を示す。
• モデルパラメータの丸めは推定誤差を大きくするが、丸めがあっても特定のアルゴリズム（例：LASSO）では攻撃はなお有効である。
• L2正則化は丸め下でL1よりこれらの攻撃に対してより良いセキュリティを提供し、いくつかの損失関数（交差エントロピー、平方ヒンジ）はヒンジ損失より防御力が向上する。
• 本研究は単純な丸めを超える新しい対策の必要性を強調している。