[論文レビュー] Imputation under Differential Privacy

Soumojit Das, Jorg Dreschler+2 more|arXiv (Cornell University)|Jun 30, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、微分プライバシー（DP）とデータ補完の相互作用を調査し、欠損値による感度の増加により、補完済みデータにDPを単純に適用するとプライバシーが著しく劣化する可能性があることを示している。本稿では、補完段階と分析段階の両方でプライバシーを適用する二段階DPアプローチを提案し、プライバシー保証を維持するとともにノイズを低減し、固定されたプライバシー予算下での平均推定においてユーティリティを向上させることを示している。

ABSTRACT

The literature on differential privacy almost invariably assumes that the data to be analyzed are fully observed. In most practical applications this is an unrealistic assumption. A popular strategy to address this problem is imputation, in which missing values are replaced by estimated values given the observed data. In this paper we evaluate various approaches to answering queries on an imputed dataset in a differentially private manner, as well as discuss trade-offs as to where along the pipeline privacy is considered. We show that if imputation is done without consideration to privacy, the sensitivity of certain queries can increase linearly with the number of incomplete records. On the other hand, for a general class of imputation strategies, these worst case scenarios can be greatly reduced by ensuring privacy already during the imputation stage. We use a simulated dataset to demonstrate these results across a number of imputation schemes (both private and non-private) and examine their impact on the utility of a private query on the data.

研究の動機と目的

• 微分プライバシーが欠損データを含む補完データとどのように相互作用するかを調査すること。
• 補完後に分析段階でのみDPを適用することによって生じるプライバシーのリスクを特定すること。
• 補完段階と分析段階の両方で微分プライバシーを保証する手法を提案し、強力なプライバシー保証を維持すること。
• 微分プライバシー下での欠損データ処理戦略のユーティリティのトレードオフを評価すること。
• プライバシー保護型補完が、より正確でバイアスの少ないクエリ結果をもたらすことを示すこと。

提案手法

• 著者らは、不完全なデータセットを完全に観測されたものに写像する関数 ι を補完としてモデル化し、観測値が変更されないことを保証する。
• グループプライバシーを用いて理論的境界を確立し、隣接するデータセットが補完後に最大 n_mis + 1 個のエントリで異なる可能性があること、感度が増加することを示している。
• 二段階DPメカニズムを提案する：まず、ε₁-微分プライバシーを満たす方法で補完モデルのパラメータを推定し、次に、補完済みデータに対して ε₂-微分プライバシーを満たすクエリメカニズムを適用する。
• 逐次合成定理を適用して、全体のメカニズムが (ε₁ + ε₂)-DP であることを示し、エンドツーエンドのプライバシーを保証する。
• 三つの戦略を実装・比較する：利用可能なケース分析、分析段階でのみDP、補完段階と分析段階の両方でDP。
• 実験では、ラプラスメカニズムを用いたシミュレーテッドOLS回帰補完を用い、ε = 1 の下で平均クエリのバイアスと分散を戦略間で比較した。

実験結果

リサーチクエスチョン

• RQ1 補完後に分析段階でのみ微分プライバシーを適用する場合、どのようなプライバシーのリスクが生じるか？
• RQ2 欠損値の数が補完済みデータセットにおける感度とプライバシー予算にどのように影響するか？
• RQ3 補完段階で微分プライバシーを強制することで、全体のプライバシーやユーティリティが向上するか？
• RQ4 補完段階と分析段階の間でプライバシー予算をどのように配分するかが、クエリ結果の正確性に与える影響は？
• RQ5 微分プライバシー下での欠損データ処理戦略ごとに、平均推定の相対的バイアスと分散はどのようになるか？

主な発見

• 補完後に分析段階でのみDPを適用すると、欠損値の数が増えるほどクエリの感度が上昇するため、プライバシー劣化が生じる可能性がある。
• 補完による最悪ケースのプライバシー損失は e^(n_mis + 1)ε で抑えられ、多くの値が欠損している場合には顕著な値となる。
• 微分プライバシーを満たすモデルパラメータ推定を用いて欠損値を補完し、その後に微分プライバシーを満たすクエリメカニズムを適用することで、(ε₁ + ε₂)-DP が保証され、形式的なプライバシー保証が維持される。
• シミュレーション結果から、利用可能なケース分析では平均推定に顕著なバイアスが生じる一方、両方の補完戦略はバイアスのない結果をもたらすことが分かった。
• 二段階DPアプローチ（補完段階と分析段階の両方でプライバシーを適用）は、分析段階でのみDPを適用する場合と比べて、著しく低い不確実性（より狭い信頼区間）を達成した。
• 同じプライバシー予算下でも、二段階法はより高いユーティリティを達成しており、早期のプライバシー強制が正確性を向上させることを示している。