[論文レビュー] Membership Leakage in Label-Only Exposures

Zheng Li, Shuicheng Yan|arXiv (Cornell University)|Jul 30, 2020

Adversarial Robustness in Machine Learning参考文献 65被引用数 15

ひとこと要約

本稿では、機械学習モデルからの予測ラベルのみを活用する意思決定ベースのメンバーインファレンス攻撃を紹介しており、ラベルのみの公開でもメンバー情報が漏洩することを示している。著者らは、2つの新規攻撃——トランスファー攻撃とバウンダリー攻撃——を提案し、一部の状況では従来のスコアベースの手法を上回る性能を示しており、メンバーであるサンプルが非メンバーと比較してモデルの意思決定境界から統計的に離れていることを明らかにした。

ABSTRACT

Machine learning (ML) has been widely adopted in various privacy-critical applications, e.g., face recognition and medical image analysis. However, recent research has shown that ML models are vulnerable to attacks against their training data. Membership inference is one major attack in this domain: Given a data sample and model, an adversary aims to determine whether the sample is part of the model's training set. Existing membership inference attacks leverage the confidence scores returned by the model as their inputs (score-based attacks). However, these attacks can be easily mitigated if the model only exposes the predicted label, i.e., the final model decision. In this paper, we propose decision-based membership inference attacks and demonstrate that label-only exposures are also vulnerable to membership leakage. In particular, we develop two types of decision-based attacks, namely transfer attack, and boundary attack. Empirical evaluation shows that our decision-based attacks can achieve remarkable performance, and even outperform the previous score-based attacks in some cases. We further present new insights on the success of membership inference based on quantitative and qualitative analysis, i.e., member samples of a model are more distant to the model's decision boundary than non-member samples. Finally, we evaluate multiple defense mechanisms against our decision-based attacks and show that our two types of attacks can bypass most of these defenses.

研究の動機と目的

• 機械学習モデルが信頼度スコアではなくラベルのみを公開する場合、メンバーインファレンス攻撃に対して依然として脆弱であるかどうかを調査すること。
• 従来の研究がスコアベースのアクセスを仮定しているというギャップを埋めるために、ラベルのみの脅威モデル下での現実的で実用的な攻撃を提案すること。
• 信頼度スコアへのアクセスが不要な新たな攻撃手法を開発し、実世界への適用可能性を高めること。
• メンバーインファレンス攻撃の成功要因を、意思決定境界に対するデータの幾何的性質に焦点を当てて分析すること。
• 特に信頼度スコアの摂動に依存する防御の有効性を、提案された攻撃に対して評価すること。

提案手法

• ターゲットモデルと同じ分布からのシャドウデータセットを用いて、ローカルなシャドウモデルを訓練し、ターゲットモデルの予測ラベルを用いて再ラベルすることにより、トランスファー攻撃を設計する。
• シャドウモデル上で意思決定ベースのメンバーインファレンス分類器を構築し、局所的にスコアベースの攻撃を実行することで、移譲されたメンバー情報を利用すること。
• シャドウデータセットが不要なバウンダリー攻撃を提案し、入力サンプルを摂動させ、モデルの予測を変えるために必要な摂動の大きさを測定すること。
• 摂動の大きさを代理指標として用い、メンバーと非メンバーのサンプルを区別する。大きな摂動が必要なのは非メンバーを示す。
• ターゲットモデルのアーキテクチャや学習データに関する事前知識が不要な、一般化されたしきい値選択手法を導入すること。
• メンバー状態とモデルの意思決定境界からの距離の相関関係を、定量的および定性的に分析すること。

実験結果

リサーチクエスチョン

• RQ1 信頼度スコアへのアクセスがなく、最終的な予測ラベルのみが公開される状況でも、メンバーインファレンス攻撃は有効に機能するか？
• RQ2 機械学習モデルにおけるメンバー状態と相関するデータサンプルの幾何的・統計的性質は何か？
• RQ3 意思決定ベースの攻撃は、従来のスコアベースのメンバーインファレンス攻撃と比較して、性能に優れているか？
• RQ4 特に信頼度スコアの摂動に依存する防御は、意思決定ベースのメンバーインファレンス攻撃に対してどの程度効果を示すか？
• RQ5 提案された攻撃は、微分プライバシーおよび正則化技術といった最先端の防御を回避できるか？

主な発見

• 提案された意思決定ベースの攻撃は強く、バウンダリー攻撃は特定のモデルおよびデータセット設定では、先行するスコアベースの攻撃を上回る性能を示した。
• メンバーのサンプルは、非メンバーのサンプルよりも常にモデルの意思決定境界から離れていることが一貫して確認され、メンバーインファレンス成功の新たな幾何的解釈が得られた。
• トランスファー攻撃は、ラベルクエリのみを用いて、ターゲットモデルのメンバー情報をローカルなシャドウモデルに効果的に移譲できた。
• バウンダリー攻撃は、シャドウデータセットやターゲットモデルに関する事前知識が不要であり、摂動の大きさにのみ依存してメンバーを推定する点で効果的に機能した。
• 信頼度スコアの摂動に依存する防御（例：MemGuard）は、ラベルのみの公開環境では無効であり、公開されていないスコアを変更する仕組みに依存しているためである。
• 過剰な正則化や一般化を高める防御は、メンバー漏洩を軽減するが完全に排除することはできず、ラベルのみの公開が依然として重大なプライバシーリスクであることが示唆された。