[論文レビュー] Bias and Variance of Post-processing in Differential Privacy

Kèyù Zhü, Pascal Van Hentenryck+1 more|arXiv (Cornell University)|Oct 9, 2020

Privacy-Preserving Technologies in Data参考文献 11被引用数 6

ひとこと要約

本稿は、人口センサスのデータにおけるドメイン制約を満たすために用いられる射影を用いた微分プライバシーにおける後処理の統計的影響を調査する。理論的および実験的分析を通じて、後処理された微分プライバシー出力におけるバイアスと分散の特性を明らかにし、非負制約が導かれる式によって境界づけられるバイアスを引き起こす一方で、次元が増加するにつれて残差誤差がラプラス分布に収束し、公開情報の活用によって分散が低減することを示している。

ABSTRACT

Post-processing immunity is a fundamental property of differential privacy: it enables the application of arbitrary data-independent transformations to the results of differentially private outputs without affecting their privacy guarantees. When query outputs must satisfy domain constraints, post-processing can be used to project the privacy-preserving outputs onto the feasible region. Moreover, when the feasible region is convex, a widely adopted class of post-processing steps is also guaranteed to improve accuracy. Post-processing has been applied successfully in many applications including census data-release, energy systems, and mobility. However, its effects on the noise distribution is poorly understood: It is often argued that post-processing may introduce bias and increase variance. This paper takes a first step towards understanding the properties of post-processing. It considers the release of census data and examines, both theoretically and empirically, the behavior of a widely adopted class of post-processing functions.

研究の動機と目的

• 後処理が微分プライバシー出力におけるノイズ分布に与える統計的影響を理解すること。
• 一般的にドメイン制約を満たすために用いられる射影が、プライバシー保護出力におけるバイアスと分散に与える影響を分析すること。
• 階層的データ公開タスク、特に人権センサス応用を念頭に、後処理の挙動について理論的および実験的知見を提供すること。
• 後処理後の残差分布を特徴づけ、その精度および公平性への影響を評価すること。

提案手法

• 本稿では、非負制約なしとありの両方の射影クラスを、線形可解制約の下で検討する。
• 順序統計とラプラスノイズの性質を用いて、非負制約が存在する場合の射影によるバイアスの上界を導出する。
• 残差誤差を独立同一分布に従うラプラス分布の確率変数の線形結合としてモデル化し、その極限分布を分析する。
• スルツキーの定理および大数の法則を用いて、次元 n → ∞ の下で残差分布がラプラス分布に収束することを証明する。
• アリゾナ州およびテキサス州の実際の人口センサスデータを用いて、郡の数を変化させながら分散とバイアスを評価する実験的検証を実施する。
• 階層的データ制約における後処理ノイズ分布を完全に特徴づけるために、1つの線形方程式からなる部分問題を用いる。

実験結果

リサーチクエスチョン

• RQ1 射影を用いた後処理は、微分プライバシー出力にバイアスをもたらすか。その場合、どのような条件下で生じるか？
• RQ2 非負制約の有無が、後処理によって生じるバイアスにどのように影響するか？
• RQ3 後処理後の残差誤差の極限分布は何か。また、元のノイズ分布とはどのように関係するか？
• RQ4 特に高次元設定において、後処理は出力の分散にどのように影響するか？
• RQ5 階層的データ公開タスクにおいて、後処理はどれほど精度を向上させるか？

主な発見

• 非負制約が存在しない場合、射影による後処理はバイアスをもたらさない。
• 非負制約が存在する場合、本稿ではバイアスの上界を導出し、バイアスが顕著に現れる問題タイプを特定する手がかりが得られる。
• 後処理された出力の残差誤差は、次元 n が増加するにつれて、元のラプラスノイズに分布収束する。
• 後処理されたデータの分散は次元の増加に伴い減少し、公開情報の活用によって精度が向上することを示している。
• アリゾナ州およびテキサス州の人口センサスデータに対する実験的結果は、理論的および実験的分散が非常に近接していることを示しており（例：アリゾナ州では186.67 vs. 186.88）、良好な一致を示している。
• 残差分布がラプラス分布に収束するという事実は、後処理が分散を低減しつつプライバシーを保持できることを示唆し、グループの公平性にも影響を及ぼす可能性がある。