[論文レビュー] AttriGuard: A Practical Defense Against Attribute Inference Attacks via Adversarial Machine Learning

Jinyuan Jia, Neil Zhenqiang Gong|arXiv (Cornell University)|May 13, 2018

Adversarial Robustness in Machine Learning参考文献 47被引用数 67

ひとこと要約

AttriGuardは、敵対的機械学習を用いた属性推定攻撃に対する二段階のノイズ付加防御を定義し、低い有用度の損失と強力な攻撃緩和を達成する。

ABSTRACT

Users in various web and mobile applications are vulnerable to attribute inference attacks, in which an attacker leverages a machine learning classifier to infer a target user's private attributes (e.g., location, sexual orientation, political view) from its public data (e.g., rating scores, page likes). Existing defenses leverage game theory or heuristics based on correlations between the public data and attributes. These defenses are not practical. Specifically, game-theoretic defenses require solving intractable optimization problems, while correlation-based defenses incur large utility loss of users' public data. In this paper, we present AttriGuard, a practical defense against attribute inference attacks. AttriGuard is computationally tractable and has small utility loss. Our AttriGuard works in two phases. Suppose we aim to protect a user's private attribute. In Phase I, for each value of the attribute, we find a minimum noise such that if we add the noise to the user's public data, then the attacker's classifier is very likely to infer the attribute value for the user. We find the minimum noise via adapting existing evasion attacks in adversarial machine learning. In Phase II, we sample one attribute value according to a certain probability distribution and add the corresponding noise found in Phase I to the user's public data. We formulate finding the probability distribution as solving a constrained convex optimization problem. We extensively evaluate AttriGuard and compare it with existing methods using a real-world dataset. Our results show that AttriGuard substantially outperforms existing methods. Our work is the first one that shows evasion attacks can be used as defensive techniques for privacy protection.

研究の動機と目的

• ソーシャルメディア、推薦システム、モバイルアプリにおける属性推定攻撃に対するプライバシー問題を動機づける。
• 計算的に扱いやすく、少ない有用度損失をもたらす実用的な防御を開発する。
• attacker’s model や ユーザーの真の属性を知ることを必要としない二段階防御（ノイズ最適化と確率的ノイズ混合）を提案する。
• evation attacks を拡張して属性推定攻撃に対する防御技術として機能させる。

提案手法

• Phase I は、ノイズタイプポリシーの下で各属性値 i に対して最小ノイズ r_i を見つけるために回避攻撃を適応させ、C(x + r_i) = i。
• Phase II は、機構を m 個の代表的ノイズ {r_1,...,r_m} の分布として扱い、KL(p||q) を最適化しつつ有用性予算を満たすように設定して防御を凸最適化としてモデルする。
• 防御者は攻撃者の挙動を模擬する分類器 C を学習し、転移性（防御下での攻撃成功）を用いてノイズ設計を導く。
• Phase I は Jacobian ベースの顕性マップに触発された Policy-Aware Noise Finding Algorithm (PANDA) を用いて、Modify_Exist, Add_New, or Modify_Add のポリシーの下でノイズを選択・適用する。
• Phase II は、ターゲット分布 p への KL 発散を最小化しつつ、期待有用度損失を境界付けるよう、ノイズの確率分布を決定する制約付き凸最適化を解く。
• このアプローチは、最終的な機構 M* において最大で m 個の非ゼロパラメータを持つ、扱いやすい防御を提供する。

実験結果

リサーチクエスチョン

• RQ1 回避攻撃は属性推定攻撃に対する防御へ再利用できるか？
• RQ2 攻撃者のモデルやユーザーの真の属性を知らない状態で、プライバシー保護と有用性の両立を実現するノイズ付加機構をどう設計できるか？
• RQ3 実務的なノイズタイプポリシーの下で、攻撃者の推定精度を最小化する最良のノイズ選択は何か？
• RQ4 現実世界データに対して、防御を知らない攻撃と防御を知っている攻撃の双方に対する二段階の AttriGuard フレームワークの有効性はどの程度か？

主な発見

• AttriGuard は攻撃者の推定精度を大幅に低下させつつ、有用度損失を小さく保つ。
• Phase I の適応型回避攻撃は、ポリシー制約下で既存のノイズ探索手法を上回る。
• 実世界の Google Play データセットでは、平均して最大 4 件の評価スコアの変更で、複数の攻撃に対して攻撃者の精度を約75%低下させる。
• Phase II の KKT ベースの解を用いた凸最適化により、ノイズ混合を効率的に計算し、有界な有用度損失でターゲット分布への近い一致を達成する。
• AttriGuard は、回避攻撃をプライバシー保護の防御技術として利用できることを初めて示した研究である。