[論文レビュー] Consistent and accurate frequency oracles under local differential privacy

Tianhao Wang, Milan Lopuhaä-Zwakenberg+3 more|arXiv (Cornell University)|May 20, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 17

ひとこと要約

本稿では、局所的微分プライバシー（LDP）頻度オラクルの推定精度を向上させるための事後処理手法を提案する。非負性および合計が1に等しいという一貫性制約を推定頻度に課すことで、ベースライン推定を大幅に上回る性能を達成する。Base-Cut（個々の値用）、Norm（頻出値用）、PowerNS（サブセットクエリ用）といった手法は、それぞれのクエリタイプに最適化された方法であり、すべてのクエリタイプに優れる単一の手法は存在しない。

ABSTRACT

Local Differential Privacy (LDP) protects user privacy from the data collector. LDP protocols have been increasingly deployed in the industry. A basic building block is frequency oracle (FO) protocols, which estimate frequencies of values. While several FO protocols have been proposed, their resulting estimations, however, do not satisfy the natural consistency requirement that estimations are non-negative and sum up to 1. In this paper, we study how to add post-processing steps to FO protocols to make them consistent while achieving high accuracy for a wide range of tasks, including frequencies of individual values, frequencies of the most frequent values, and frequencies of subsets of values. We consider 10 different methods, some of them explicitly proposed before in the literature, and others introduced in this paper. We establish theoretical relationships between some of them and conducted extensive experimental evaluations. Among them, we propose to use Norm-Hyb, which keeps estimations above a certain threshold unchanged, and then converts negative estimations to 0 while adding a value (typically negative) to all other estimations to ensure a sum of 1.

研究の動機と目的

• さまざまなクエリタイプ、特に推定ノイズによって負のまたは一貫性のない頻度推定が生じる場合に、既存のLDP頻度オラクルプロトコルの精度が著しく低い問題に対処すること。
• 非負の頻度および合計が1に等しいという普遍的一貫性特性を強制することで、異なるクエリワークロード全体で推定精度を顕著に向上させられるかを検討すること。
• これらの一貫性制約を異なる方法で活用する10の異なる事後処理手法を同定・評価すること。これには、パワーローの仮定を組み合わせた手法も含む。
• 個々の値、頻出値、または値のサブセットを対象とするクエリタイプに応じて、最適な事後処理手法を特定し、実用的な選定ガイドラインを提供すること。
• 異なる一貫性制約強制手法がもたらすバイアスと分散のトレードオフを理論的および実験的に分析し、クエリ精度に与える影響を評価すること。

提案手法

• 非負性（例：Base-Cut）、合計が1に等しい（例：Norm）、または両方（例：PowerNS）を強制する10の事後処理手法を提案。
• 制約付き最小二乗法（CLS）および最尤推定（MLE）を理論的基盤とし、一貫性制約下での最適推定器を導出する。
• 先行研究[17]におけるパワーロー仮定を一貫性制約と統合し、サブセットクエリの精度を向上させるPowerNS手法を提案。
• L2距離最小化（例：Norm-Sub）およびL1距離最小化（例：MLE-Apx）を用い、推定誤差を低減するとともに一貫性を維持する。
• ベースラインLDPプロトコル（例：OLH、ハダマール・リスポンス）とこれらの事後処理手法を組み合わせ、合成および実世界データセット上で性能を評価する。
• 実世界データでは最適な設定が特定されない可能性があるため、サブセットクエリのための手法選定を合成データセットを用いて支援する。

実験結果

リサーチクエスチョン

• RQ1 LDP頻度推定に対して非負性および合計が1に等しい制約を課すことにより、多様なクエリタイプ全体で顕著な精度向上が達成できるか？
• RQ2 個々の値クエリ、頻出値クエリ、サブセットクエリの各分野において、異なる一貫性制約強制事後処理手法のバイアス、分散、精度はどのように比較されるか？
• RQ3 LDP制約下で、制約付き最小二乗法と最尤推定の理論的関係は何か？
• RQ4 一貫性制約とパワーロー仮定（例：PowerNSを介して）を組み合わせることで、サブセット頻度クエリの性能が、単独の手法よりも向上するか？
• RQ5 各クエリワークロードに対して最適な事後処理手法は何か？また、タスク固有の推奨フレームワークを提供できるか？

主な発見

• 負の推定値を0に設定するBase-Cutは、バイアスを大きく増加させることなく分散を低減するため、個々の値頻度クエリで最高の精度を達成する。
• 合計が1に等しい制約を強制するNormは、グローバル正規化を活用することで分散を低減するため、最も頻出する値の頻度推定で最良の性能を発揮する。
• サブセット頻度クエリでは、パワーロー仮定と非負性・合計が1に等しい両方の制約を統合したPowerNSが最高の精度を達成し、他の手法を上回る。
• 理論的分析により、ノイズが概ねガウス分布に近い場合、一貫性制約下でのL2距離最小化が最尤推定を近似することが示され、CLSを実用的代理として用いる妥当性が裏付けられる。
• すべてのクエリタイプに優れる単一の手法は存在せず、最適な手法はクエリワークロードに強く依存するため、タスク固有の選択が不可欠である。
• 実験的評価により、一貫性に基づく事後処理が、合成および実世界データセット全体で顕著に精度を向上させることを確認した。特に高ノイズのLDP環境下で顕著な改善が得られた。