[論文レビュー] Accuracy and Privacy Evaluations of Collaborative Data Analysis

Akira Imakura, Anna Bogdanova+3 more|arXiv (Cornell University)|Jan 27, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用数 4

ひとこと要約

本論文は、次元削減された表現を共有することで、プライバシー保護型分散機械学習を可能にする、モデル共有をしない共同データ分析フレームワークを提案する。集中型分析と同等であるための十分条件を確立し、内部および外部攻撃に対する二重のプライバシー保護層を証明した。ダウンサンプリングとε-DRプライバシー機構を用いることで、高い精度を維持したまま強いプライバシー保証が可能であることを示した。

ABSTRACT

Distributed data analysis without revealing the individual data has recently attracted significant attention in several applications. A collaborative data analysis through sharing dimensionality reduced representations of data has been proposed as a non-model sharing-type federated learning. This paper analyzes the accuracy and privacy evaluations of this novel framework. In the accuracy analysis, we provided sufficient conditions for the equivalence of the collaborative data analysis and the centralized analysis with dimensionality reduction. In the privacy analysis, we proved that collaborative users' private datasets are protected with a double privacy layer against insider and external attacking scenarios.

研究の動機と目的

• 次元削減を伴う共同分析と集中型分析との間の同等性を保証する十分条件を確立すること。
• 内部および外部の敵対者に対する共同データ分析のプライバシー保証を分析すること。
• 実用的導入シナリオにおける精度とプライバシーのトレードオフを評価すること。
• さまざまなプライバシー閾値下での精度およびプライバシー指標の数値的検証を提供すること。

提案手法

• フレームワークは、プライベートデータセットの次元削減表現（f_i）のみを共有し、生データやモデルを共有しない。
• 共同分析と集中型分析との同等性を保証するための十分条件（式9）を用いる。
• 二重のプライバシー保護層を実装する：(1) f_i はプロトコル設計により機密性を確保（定理2および3）、(2) f_i はε-DRプライバシー定義（10）および（11）を満たし、推論攻撃に耐性を持つ。
• ダウンサンプリング技術を適用して、相互距離が小さいサンプルを除去することで、ε-DRプライバシー（12）を向上させつつ、精度の著しい低下を防ぐ。
• 次元削減手法は、与えられたε₁およびε₂の閾値を満たすように選択または制約する。
• 実世界のデータセットを用いて複数回の試行を通じて数値的評価を実施し、精度（ACC）およびプライバシー指標を評価する。

実験結果

リサーチクエスチョン

• RQ1 次元削減を伴う共同データ分析が、同じ変換を施した集中型分析と同等となる条件は何か？
• RQ2 f_i が漏洩する可能性がある内部脅威に対して、フレームワークはどのようにプライバシーを確保するか？
• RQ3 外部の敵対者が共有された表現からプライベートデータを再構築しようとする場合、フレームワークはどのようにして保護するか？
• RQ4 共同分析におけるプライバシー（ε-DRで測定）と予測精度のトレードオフはどのように変化するか？
• RQ5 ダウンサンプリングは、精度の劣化を最小限に抑えつつ、ε-DRプライバシーを著しく向上させることができるか？

主な発見

• 十分条件（式9）により、次元削減を伴う共同分析が数学的に集中型分析と同等であることが保証される。
• ε = 10⁻²の場合、共同手法は97.50%の精度を達成し、ダウンサンプリング設定下で集中型ベースライン（93.6%）と同等の性能を示した。
• ε = 0.5でさえも、共同分析の精度（81.4%）は個別分析（75.5%）を上回り、高い耐性を示した。
• ダウンサンプリングにより、ε-DRプライバシー（12）を著しく向上させることができ、精度の低下はわずかに抑えられ、たとえばεを10⁻²から0.4に引き上げた場合、精度は97.50%から86.1%に低下するにとどまった。
• フレームワークは二重のプライバシー保護層を提供する：f_i はプロトコルのセキュリティとε-DRプライバシーの両方で保護され、内部および外部攻撃に対して耐性を持つ。
• 数値的評価により、高水準のプライバシー（大きなε-DR）を、特にダウンサンプリングや制限付き次元削減を用いることで、精度の著しい低下を最小限に抑えながら達成可能であることが確認された。