[論文レビュー] That which we call private

Úlfar Erlingsson, Ilya Mironov+2 more|arXiv (Cornell University)|Aug 8, 2019

Privacy-Preserving Technologies in Data参考文献 17被引用数 15

ひとこと要約

この論文は、zCDP や RDP といった洗練された微分プライバシー定義が、実際のプライバシー損失を減少させないが、最悪ケースのプライバシー損失に対してははるかにタイトな上限を提供することを明確にしている。多くの場合、εの推定値が桁違いに小さくなる。著者らは、これらの洗練された定義下で観察される攻撃成功率の上昇は、プライバシーが弱くなったからではなく、単に単純な解析における緩い上限に起因することを示し、攻撃から得られる下限を用いて、より正確なモデルのプライバシー推定のための『プライバシー領域』を狭めることを提案する。

ABSTRACT

The guarantees of security and privacy defenses are often strengthened by relaxing the assumptions made about attackers or the context in which defenses are deployed. Such relaxations can be a highly worthwhile topic of exploration---even though they typically entail assuming a weaker, less powerful adversary---because there may indeed be great variability in both attackers' powers and their context. However, no weakening or contextual discounting of attackers' power is assumed for what some have called "relaxed definitions" in the analysis of differential-privacy guarantees. Instead, the definitions so named are the basis of refinements and more advanced analyses of the worst-case implications of attackers---without any change assumed in attackers' powers. Because they more precisely bound the worst-case privacy loss, these improved analyses can greatly strengthen the differential-privacy upper-bound guarantees---sometimes lowering the differential-privacy epsilon by orders-of-magnitude. As such, to the casual eye, these analyses may appear to imply a reduced privacy loss. This is a false perception: the privacy loss of any concrete mechanism cannot change with the choice of a worst-case-loss upper-bound analysis technique. Practitioners must be careful not to equate real-world privacy with differential-privacy epsilon values, at least not without full consideration of the context.

研究の動機と目的

• 洗練された微分プライバシー定義（例：zCDP、RDP）が、理論的上限はタイトである一方で、実際のプライバシー漏洩が増加するという見かけのパラドックスを解明すること。
• モデルの実際のプライバシー損失は固定であり、解析手法とは無関係であり、変化するのは上限推定値に限ることを明確にすること。
• 実際のメンバーシップインファレンス攻撃を用いて、モデルの真の微分プライバシーパラメータの意味のある下限を導出できることを示すこと。
• 高度な解析手法と実験的攻撃結果を組み合わせることで、εの上界と下界の間のギャップ（『プライバシー領域』）を狭めること。
• 実践者に対して、洗練された解析から得られる低いε値を、現実世界でのプライバシーの向上と誤解してはならないことを警告し、文脈と境界のタイトさの重要性を強調すること。

提案手法

• 同じ目標ε値を設定した状態で、さまざまな微分プライバシー定義（素朴、高度、zCDP、RDP）に従って訓練されたモデルを再分析し、解析手法の影響を実際のプライバシー損失とは分離する。
• JayaramanとEvans（USENIX Security 2019）の実験的攻撃結果を再構成し、モデルノイズ（訓練損失を介して固定）し、(ε上限、攻撃成功回数) のペアに再表現する。
• 命題3を適用し、5% FPRにおける観察されたメンバーシップインファレンス攻撃の優位性に基づいて、モデルの真のεの下限を導出する。
• RDP解析によるタイトな上限と、攻撃から得た優位性を下限として用い、各モデルの『プライバシー領域』を構築する。
• プライバシー領域を対数スケールでプロットし、解析手法と攻撃手法の向上に伴い不確実性がどのように狭まるかを可視化する。
• メンバーシップインファレンス攻撃におけるしきい値選択を検討し、最適なしきい値が下限を強化できるが、これは最小限の補助情報にとどまることに注意する。

実験結果

リサーチクエスチョン

• RQ1 zCDP や RDP といった洗練された微分プライバシー定義では、理論的上限はタイトである一方で、なぜ一部の研究では実験的プライバシー漏洩が増加しているように見えるのか？
• RQ2 同じモデルに対して、さまざまなDP解析手法（例：素朴DP 対 RDP）を用いることで、上界ε推定値はどの程度変化するのか？ただし、実際のプライバシー損失は変化しないものとする。
• RQ3 実験的メンバーシップインファレンス攻撃を用いて、モデルの真の微分プライバシーパラメータの意味のある下限を導出できるか？
• RQ4 高度な解析（RDP）と実験的攻撃結果を組み合わせることで、モデルの真のプライバシー保証の周囲りの不確実性区間はどの程度狭まるか？
• RQ5 訓練データとテストデータの分布の違いが、メンバーシップインファレンス攻撃結果がプライバシー指標として有効であるかどうかに与える影響は何か？

主な発見

• 同じ目標ε値で訓練されたモデル（例：素朴DP 対 RDP）は、上界εが固定されているにもかかわらず、実際のプライバシー損失と性能に顕著な差を示す。
• RDP などの洗練された定義下で攻撃成功率が上昇しているのは、プライバシーが弱くなったからではなく、むしろ単純な定義（例：素朴DP）が極めて緩い上界を提供しており、その結果ε値が過度に悲観的になってしまうためである。
• ノイズスケール 136.67× のモデルでは、RDPに基づくεの上界は 0.05 である一方、攻撃から導かれた下界は 0 であり、真のεは区間 [0, 0.05] 内にあると示唆される。
• ノイズスケールが低下する（例：0.44×）と、RDP解析による上界は 44,770 にまで上昇するが、攻撃から得た下界は 3.5×10⁸ に達し、解析と攻撃の境界が緩い場合にはプライバシー領域が極めて広がることを示している。
• RDPによるタイトな上界と攻撃から得た下界の間の『プライバシー領域』—すなわち、εの真の値を囲む区間—は、解析手法と攻撃手法の向上に伴い顕著に狭まり、真のプライバシーの推定がより正確になる。
• 最小限の補助情報（例：最適なしきい値選択）であっても、攻撃から得た下限は有用である。なぜなら、上界と下界の両方が本質的に緩いため、それらをタイトにすることで全体のプライバシー推定が向上するからである。