[論文レビュー] SoK: Let the Privacy Games Begin! A Unified Treatment of Data Inference Privacy in Machine Learning

Ahmed Salem, Giovanni Cherubin+6 more|arXiv (Cornell University)|Dec 21, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、機械学習におけるデータ推論プライバシーリスクを体系化するための統一的ゲームベース枠組みを導入し、5つの核心的脅威—メンバーシップ、属性、特性、微分プライバシーの区別可能性、データ再構築推論—を確率的ゲームとして形式化する。これらのリスク間の厳密な還元と分離を確立し、以前に未知であった関係性を明らかにし、MLシステムにおけるプライバシー証明の明確な推論、合成、機械化を可能にする。

ABSTRACT

Deploying machine learning models in production may allow adversaries to infer sensitive information about training data. There is a vast literature analyzing different types of inference risks, ranging from membership inference to reconstruction attacks. Inspired by the success of games (i.e., probabilistic experiments) to study security properties in cryptography, some authors describe privacy inference risks in machine learning using a similar game-based style. However, adversary capabilities and goals are often stated in subtly different ways from one presentation to the other, which makes it hard to relate and compose results. In this paper, we present a game-based framework to systematize the body of knowledge on privacy inference risks in machine learning. We use this framework to (1) provide a unifying structure for definitions of inference risks, (2) formally establish known relations among definitions, and (3) to uncover hitherto unknown relations that would have been difficult to spot otherwise.

研究の動機と目的

• 機械学習のプライバシー攻撃に関する文献における断片化を是正する。ここには、攻撃者の能力や目的が一貫して定義されていない。
• メンバーシップ、属性、特性、微分プライバシーの区別可能性、データ再構築の5つの基本的プライバシー推論リスクを、明確な意味論を持つゲームベース定義として形式化する。
• 定量的還元の概念を用いて、これらのプライバシーリスク間の正式な関係（還元と分離）を確立する。
• 構造的かつコードベースのゲーム枠組みを通じて、より明確な推論、合成、プライバシー証明の機械化を可能にする。
• 複雑な攻撃シナリオが単純な推論ゲームの組み合わせに分解可能であることを示す事例研究を通じて、フレームワークの有効性を提示する。

提案手法

• ゲームベースのプライバシー定義を、攻撃者の能力、データセットおよびチャレンジ選択、成功測度といったコアな要素に分解する。
• 5つのプライバシーリスクのそれぞれを、チャレンジャーと攻撃者がオракルを通じて相互作用する確率的ゲームとして表現する。
• プライバシー性質間の定量的還元の概念を定義し、含意や不可能性の正式な証明を可能にする。
• 形式的意味論を伴うゲームの系列変換を用いて還元と分離を証明し、機械化可能な推論を可能にする。
• 文献で提唱されたメンバーシップ推論の変種が、メンバーシップおよび特性推論ゲームの組み合わせに正式に分解可能であることを分析に応用する。
• 既存のプログラム論理および検証ツール（例：EasyCrypt）を活用し、明確な意味論を持つ確率的プログラムとしてゲームをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 機械学習における多様で一貫性のないプライバシー推論攻撃の定式化を統一するにはどうすればよいか？
• RQ2 異なる推論リスク間にはどのような正式な関係があるか—あるリスクのセキュリティ保証が、別のリスクのセキュリティ保証を意味するのか？
• RQ3 あるプライバシーリスクが別のリスクに還元可能であるか、あるいは根本的に独立していると正式に示せるか？
• RQ4 ゲームベースの推論は、複雑な攻撃シナリオをどの程度分解・分析できるか？
• RQ5 ゲームベースの枠組みは、MLシステムにおけるプライバシー性質の機械化証明および形式的検証をサポートできるか？

主な発見

• 本稿は、5つの核心的プライバシー推論リスク間で完全な正式な還元と分離を確立し、メンバーシップ推論のセキュリティが属性および特性推論のセキュリティを意味するが、データ再構築のセキュリティを意味しないことを明らかにした。
• 微分プライバシーの区別可能性がメンバーシップ推論よりも厳密に弱いことを証明した。これは、DPがメンバーシップ推論抵抗性を意味しないことを示している。
• フレームワークは、データ再構築がメンバーシップ推論よりも厳密に強いことを明らかにした。すなわち、メンバーシップ推論に対しては安全だが、データ再構築に対しては完全に不正なシステムが存在する。
• 事例研究を通じて、従来メンバーシップ推論の変種とされた複雑な攻撃シナリオが、正式にメンバーシップおよび特性推論ゲームの組み合わせに分解可能であることを示した。
• 著者らは、ゲームベースの推論が形式的プログラム変換を用いた構造的で機械化可能な証明を可能にし、EasyCryptのようなツールとの互換性があることを示した。
• 本研究は、連続確率分布（例：DP-SGD）が、通常離散確率空間を仮定する既存の機械化フレームワークにとって課題をもたらすことを同定した。