[論文レビュー] Correlated-Output Differential Privacy and Applications to Dark Pools

Chiang, James Hsin-yu, Davis Railsback+2 more|arXiv (Cornell University)|Feb 5, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本論文は、信頼できるキュレーターが存在しない複数のデータ所有者間で機械学習モデルのプライバシー保護型学習を可能にする、新規の MPC+DP フレームワークを提案している。このフレームワークでは、安全なマルチパーティ計算（MPC）を用いて、グローバルな微分プライバシー（DP）の信頼できるキュレーターの役割を模倣することで実現している。この手法は、ローカル DP よりも高いモデル精度を達成しながらも、形式的なプライバシー保証を維持しており、ゲノム解析の iDASH2021 競技会で優勝を獲得した。

ABSTRACT

In the classical setting of differential privacy, a privacy-preserving query is performed on a private database, after which the query result is released to the analyst; a differentially private query ensures that the presence of a single database entry is protected from the analyst’s view. In this work, we contribute the first definitional framework for differential privacy in the trusted curator setting (Fig. 1); clients submit private inputs to the trusted curator, which then computes individual outputs privately returned to each client. The adversary is more powerful than the standard setting; it can corrupt up to n-1 clients and subsequently decide inputs and learn outputs of corrupted parties. In this setting, the adversary also obtains leakage from the honest output that is correlated with a corrupted output. Standard differentially private mechanisms protect client inputs but do not mitigate output correlation leaking arbitrary client information, which can forfeit client privacy completely. We initiate the investigation of a novel notion of correlated-output differential privacy to bound the leakage from output correlation in the trusted curator setting. We define the satisfaction of both standard and correlated-output differential privacy as round differential privacy and highlight the relevance of this novel privacy notion to all application domains in the trusted curator model. We explore round differential privacy in traditional "dark pool" market venues, which promise privacy-preserving trade execution to mitigate front-running; privately submitted trade orders and trade execution are kept private by the trusted venue operator. We observe that dark pools satisfy neither classic nor correlated-output differential privacy; in markets with low trade activity, the adversary may trivially observe recurring, honest trading patterns, and anticipate and front-run future trades. In response, we present the first round differentially private market mechanisms that formally mitigate information leakage from all trading activity of a user. This is achieved with fuzzy order matching, inspired by the standard randomized response mechanism; however, this also introduces a liquidity mismatch as buy and sell orders are not guaranteed to execute pairwise, thereby weakening output correlation; this mismatch is compensated for by a round differentially private liquidity provider mechanism, which freezes a noisy amount of assets from the liquidity provider for the duration of a privacy epoch, but leaves trader balances unaffected. We propose oblivious algorithms for realizing our proposed market mechanisms with secure multi-party computation (MPC) and implement these in the Scale-Mamba Framework using Shamir Secret Sharing based MPC. We demonstrate practical, round differentially private trading with comparable throughput as prior work implementing (traditional) dark pool algorithms in MPC; our experiments demonstrate practicality for both traditional finance and decentralized finance settings.

研究の動機と目的

• 水平的または垂直的分布データ上で、プライバシーを保ちながら正確な機械学習モデルを学習する課題に対処すること。
• 分散データ上で学習する際、純粋な微分プライバシー（DP）手法に内在する精度損失を克服すること。
• 信頼できるキュレーターに依存せず、安全なマルチパーティ計算（MPC）を用いてグローバル DP を模倣することで、その依存を排除すること。
• 医療や広告分野で一般的な、特徴量が複数の参加者に分散されている垂直的データ分割環境において、従来の MPC+DP 手法が失敗する状況でもプライバシー保護型のモデル学習を可能にすること。
• 専門知識のチューニングを必要とせず、さまざまな線形モデルや DP メカニズムをサポートする汎用的かつ拡張可能なフレームワークを提供すること。

提案手法

• MPC プロトコルを用いて、原始データを露呈させることなく、複数のデータ所有者間でロジスティック回帰モデルを共同で学習する。
• 加法的共有などの秘密分散ベースの MPC プロトコルを用い、複数参加者間でモデル重みをプライバシー保護型に計算する。
• モデル学習終了後、MPC を用いてモデル係数にラプラスノイズを追加し、(ϵ, δ)-微分プライバシーを満たす。
• ノイズの追加を分散的に実行することで、グローバル DP の文脈における信頼できるキュレーターの役割を模倣し、エンドツーエンドのプライバシー保証を確保する。
• 本手法は水平的および垂直的データ分割に対応可能であり、受動的および能動的攻撃者モデルの両方と互換性を持つ。
• フレームワークはモジュラー設計である。ロジスティック回帰学習プロトコル（πLR）は他の線形学習器に置き換え可能であり、ラプラスノイズ機構はガウスノイズに交換可能で、(ϵ, δ)-DP に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 分散モデル学習において、原始データを露呈させずに、MPC を用いてグローバル微分プライバシーの信頼できるキュレーターの役割を模倣できるか？
• RQ2 MPC をグローバル DP と組み合わせることで、フェデレーテッドラーニング環境においてローカル DP よりも高いモデル精度が得られるか？
• RQ3 提案された MPC+DP フレームワークは、特徴量が参加者間で分割されている垂直的データ分割を処理できるか？
• RQ4 MPC+DP アプローチの性能は、参加者数や攻撃者モデル（受動的・能動的）の変化に伴いどのようにスケーリングするか？
• RQ5 MPC+DP フレームワークは、再構成を必要とせず、さまざまな線形モデルや DP メカニズムに一般化可能か？

主な発見

• MPC+DP アプローチは、医療請求データを用いた野生型トランスチレチンアミロイド心筋症リスク予測を目的とした iDASH2021 Track III 競技会で第1位を獲得した。
• 水平的分散環境では、誠実多数主義かつ受動的攻撃者モデルの MPC プロトコル（3参加者、32コアのVM）を用いて、学習時間を1.3分未満に短縮した。
• 誠実多数主義の能動的攻撃者モデル下でも、4参加者構成の環境で学習が30分未満で完了し、実用性を示した。
• 特に個々のデータ所有者が限られたデータしか持たない状況では、ノイズの蓄積が少ないため、ローカル DP ベースラインに比べて精度が優れていた。
• モデルを明示的に共有できる一方で、強いプライバシー保証（ϵ=1, δ=1e-5）を維持した。これに対してローカル DP はモデルクエリによる情報漏洩を引き起こす。
• フレームワークは拡張可能である。L2正則化付きロジスティック回帰をサポートしており、(ϵ, δ)-DP に適応するためのガウスノイズ機構への変更も可能である。