[論文レビュー] Principled Evaluation of Differentially Private Algorithms using DPBench

Michael Hay, Ashwin Machanavajjhala+3 more|arXiv (Cornell University)|Dec 15, 2015

Privacy-Preserving Technologies in Data参考文献 28被引用数 6

ひとこと要約

本論文は、1次元および2次元の範囲クエリに焦点を当てた、微分プライバシーのアルゴリズムを評価するための原則的フレームワークであるDPBenchを紹介する。27のデータセットにおいて15のアルゴリズムを評価した結果、信号が弱い環境ではDAWA や AGrid といったデータ依存型アルゴリズムが単純なベースラインを上回るが、信号が強い環境では、誤差の予測可能性と導入のしやすさから、Identity や Hb といったデータに依存しない手法が好まれる。

ABSTRACT

Differential privacy has become the dominant standard in the research community for strong privacy protection. There has been a flood of research into query answering algorithms that meet this standard. Algorithms are becoming increasingly complex, and in particular, the performance of many emerging algorithms is {\em data dependent}, meaning the distribution of the noise added to query answers may change depending on the input data. Theoretical analysis typically only considers the worst case, making empirical study of average case performance increasingly important. In this paper we propose a set of evaluation principles which we argue are essential for sound evaluation. Based on these principles we propose DPBench, a novel evaluation framework for standardized evaluation of privacy algorithms. We then apply our benchmark to evaluate algorithms for answering 1- and 2-dimensional range queries. The result is a thorough empirical study of 15 published algorithms on a total of 27 datasets that offers new insights into algorithm behavior---in particular the influence of dataset scale and shape---and a more complete characterization of the state of the art. Our methodology is able to resolve inconsistencies in prior empirical studies and place algorithm performance in context through comparison to simple baselines. Finally, we pose open research questions which we hope will guide future algorithm design.

研究の動機と目的

• 微分プライバシーのアルゴリズムがより複雑になり、データ依存的になってくる中で、包括的かつ標準化された評価の欠如に応えること。
• 実践者による信頼できるアルゴリズム選定を妨げる、先行研究における一貫性の欠如やギャップを解消すること。
• さまざまなデータセットとプライバシー・パラメータに対して、アルゴリズムの性能を比較可能な原則的ベンチマークフレームワークを提供すること。
• 特に高信号と低信号の環境におけるデータセットのスケール、形状、プライバシー予算（ε）に応じて、最適なアルゴリズムの選定を実践者にガイドすること。
• データ依存性、パラメータチューニング、誤差の境界、ユーティリティにおけるばらつきといった、アルゴリズム設計における未解決の課題を浮き彫りにすること。

提案手法

• 1次元および2次元の範囲クエリワークロードに焦点を当てた、微分プライバシーのアルゴリズムを評価するための標準化された評価フレームワークとしてDPBenchを設計すること。
• スケールや形状が異なる27の実世界データセットを用いて、15の既存のアルゴリズムを包括的に評価するベンチマークパイプラインを実装すること。
• 誤差のばらつきをノイズ追加のランダムネスに対して耐性を持つようにするため、平均誤差と誤差のばらつきの両方を主要なユーティリティ指標として使用すること。
• ラプラス機構やIdentity/Hb手法といった単純でデータに依存しないベースラインと、アルゴリズムの性能を比較すること。
• 自由パラメータの影響を評価するために、体系的なパラメータチューニング手順を適用し、チューニングが容易な手法とデータ依存型手法の違いを明確にすること。
• スケールド誤差を決定づける要因として、データセットのスケールとプライバシー予算（ε）の交換可能性を分析し、統一的な性能特徴付けを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 多様な1次元および2次元データセットにおいて、どの微分プライバシーのアルゴリズムが最も低い誤差を達成するか。また、データのスケールや形状に応じて性能はどのように変化するか。
• RQ2 信号が弱いか、データセットが小さい環境下で、データ依存型アルゴリズムとデータに依存しないベースラインの間で、ユーティリティとばらつきの点でどのように比較されるか。
• RQ3 パラメータチューニングがどれほどユーティリティを向上させるか。特に、MWEM と AHP のようなアルゴリズムクラス間でその影響はどのように異なるか。
• RQ4 データ依存型アルゴリズムに対して、公開可能な誤差境界を開発することは可能か。その場合、実用的導入にどのような影響を与えるか。
• RQ5 誤差のばらつきを低く抑えたいリスク回避型ユーザーと、平均誤差を最小化することに注力するリスク志向型ユーザーでは、アルゴリズムの好みにどのような違いが生じるか。

主な発見

• 高信号環境（高いデータセットスケールおよびε）では、誤差の予測可能性とパラメータチューニングの最小限の必要性から、Identity や Hb といったデータに依存しない手法が、複雑なデータ依存型手法を常に上回る。
• 低信号および中程度の信号環境では、DAWA や AGrid といったデータ依存型手法が、ベースラインよりも顕著に低い誤差を達成する。特に1次元範囲クエリではDAWAが非常に競争力がある。
• 2次元範囲クエリでは、AGrid がデータに依存しない手法を一貫して上回るが、極めてスパースなデータセットでは、DAWA が両者を著しく上回る。
• データセットスケールとプライバシー予算（ε）がスケールド誤差に与える影響は、交換可能である。これは、性能モデル化においてこれらを同等の要因として扱えることを意味する。
• 誤差のばらつきは、しばしば無視されがちな指標である。リスク回避型ユーザーは、平均誤差がわずかに高い場合でも、分散が低いアルゴリズムを好む可能性がある。
• パラメータチューニングは、特にMWEMのようなアルゴリズムにおいて顕著なユーティリティの向上をもたらすが、AHP のようなデータ依存型手法ではより複雑であるため、より良いチューニング戦略の開発が求められる。