[論文レビュー] Does Label Differential Privacy Prevent Label Inference Attacks?

Ruihan Wu, Jin Zhou+2 more|arXiv (Cornell University)|Feb 25, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文は、絶対的精度ではなくベイズ分類器との優位性を成功基準として再定義することにより、ラベル差別的プライバシー（ラベル-DP）モデルが依然としてラベル推定攻撃（LIA）に対して脆弱であるというパラドックスを解消する。ラベル-DPのパラメータεに対して、この優位性が $1 - \frac{2}{1 + e^{\varepsilon}}$ に制限されることを証明し、εが小さい場合には高い訓練精度であってもプライベートラベル漏洩を示さないことを示し、Criteo 1TBクリックログを含む合成および実世界のデータセットでこの境界を実証的に検証する。

ABSTRACT

Label differential privacy (label-DP) is a popular framework for training private ML models on datasets with public features and sensitive private labels. Despite its rigorous privacy guarantee, it has been observed that in practice label-DP does not preclude label inference attacks (LIAs): Models trained with label-DP can be evaluated on the public training features to recover, with high accuracy, the very private labels that it was designed to protect. In this work, we argue that this phenomenon is not paradoxical and that label-DP is designed to limit the advantage of an LIA adversary compared to predicting training labels using the Bayes classifier. At label-DP $ε=0$ this advantage is zero, hence the optimal attack is to predict according to the Bayes classifier and is independent of the training labels. Our bound shows the semantic protection conferred by label-DP and gives guidelines on how to choose $\varepsilon$ to limit the threat of LIAs below a certain level. Finally, we empirically demonstrate that our result closely captures the behavior of simulated attacks on both synthetic and real world datasets.

研究の動機と目的

• ラベル-DPが強いプライバシー保証を有するにもかかわらず、ラベル推定攻撃（LIA）によって攻撃可能であるという表面的なパラドックスを解消すること。
• 絶対的予測精度ではなく、ベイズ分類器との優位性を測定することで、ラベル推定攻撃（LIA）の評価を再定式化すること。
• ラベル-DP下での任意のLIA攻撃者に対する優位性のタイトな上界を導出し、それをプライバシー・パrameter εと直接結びつけること。
• 合成および実世界のデータセット（Criteo 1TBクリックログを含む）で理論的境界を実証的に検証すること。
• 実世界の応用においてLIAリスクを所望のしきい値以下に抑えるためにεを適切に選択するための実用的ガイドラインを提供すること。

提案手法

• ラベル推定攻撃（LIA）の成功を絶対的精度ではなく、訓練ラベルに依存しないベイズ分類器との優位性として定義する。
• ε-ラベル-DPラーナーがLIA攻撃者の優位性を $1 - \frac{2}{1 + e^{\varepsilon}}$ に制限することを形式的に証明し、εが小さくなるほどこの値が減少することを示す。
• クラス不均衡やラベル値の差を考慮するため、重み付き攻撃効用関数を用い、評価の公平性を確保する。
• 実データセットにおけるモデルの訓練精度とテスト性能を用いて、期待攻撃効用（EAU）および下界期待攻撃効用（L-EAU）を推定する。
• 合成データ（ベイズ分類器が既知）および実世界データ（Criteo 1TBクリックログ）に対して、さまざまなε値で理論的境界を検証する。
• ラベル-DPアカウンティングを適用し、理論的上界と実際の優位性の差を評価することで、境界のタイトさや攻撃の改善可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜラベル-DPモデルに対しては強いプライバシー保証があるにもかかわらず、ラベル推定攻撃（LIA）が高精度を達成するのか？
• RQ2 ラベル-DPはLIAに対して真に無力なのか、それとも評価指標が誤解を招いているのか？
• RQ3 ラベル-DP下で、LIA攻撃者のベイズ分類器との優位性は上界で抑えられるか？もしそうなら、それはεとどのように関係するか？
• RQ4 ラベル-DPモデルにおける高い訓練精度は、必然的にプライベートラベル漏洩を示唆するのか？
• RQ5 LIA優位性の理論的上界はどの程度タイトか？また、ノイズが多く、不均衡な実世界データセットではどのように性能を示すか？

主な発見

• ε-ラベル-DP下でのLIA優位性の理論的上界は $1 - \frac{2}{1 + e^{\varepsilon}}$ であり、εが小さくなるほど減少し、意味的プライバシーを保証する。
• 合成データでは、理論的上界が小規模および大規模なε値の両方において、単純予測攻撃（SPA）の実証的優位性をきっちりと支配する。
• Criteo 1TBクリックログデータセットでは、SPA攻撃が約97％のラベル推定精度を達成するが、ε ≤ 2 の場合には負の優位性を示し、ベイズ分類器よりも劣る性能であることを示している。
• 高い訓練精度があるにもかかわらず、小さなεのラベル-DPは、ベイズ分類器が示唆する範囲を超えてプライベートラベルを漏洩させない。これは表面的なパラドックスを解消する。
• 理論的上界と観測された優位性との間の実証的ギャップは、よりタイトなラベル-DPアカウンティングや、より効果的なLIAの可能性を示唆している。
• 本研究は、LIAに対してラベル-DPが攻撃されないことを、正しく「ベイズ分類器との優位性」を評価基準とすることで示しており、プライバシーとユーティリティの整合的な調整フレームワークを提供する。