[論文レビュー] Typicality-Based Stability and Privacy.

Raef Bassily, Yoav Freund|arXiv (Cornell University)|Apr 12, 2016

Privacy-Preserving Technologies in Data被引用数 3

ひとこと要約

本稿は、微分プライバシーの有界感度要件を集中条件に置き換える新しいアルゴリズム的安定性の概念である「典型的安定性」を導入する。この安定性は、データ分布下でのクエリ出力が期待値のまわりにきわめて集中していることを要件とする。本稿では、この概念がサブガウス型およびサブ指数型クエリに対して小さな一般化誤差を保証すること、ポストプロセッシングおよび適応的合成をサポートすること、および分布固有のノイズキャリブレーションを用いたノイズ追加メカニズムを可能にすることを示している。

ABSTRACT

In this paper, we introduce a new notion of algorithmic stability called typical stability. When our goal is to release real-valued queries (statistics) computed over a dataset, this notion does not require the queries to be of bounded sensitivity -- a condition that is generally assumed under a standard notion of algorithmic stability known as differential privacy [DMNS06, Dwo06]. Instead, typical stability requires the output of the query, when computed on a dataset drawn from the underlying distribution, to be well-concentrated around its expected value with respect to that distribution. Typical stability can also be motivated as an alternative definition for database privacy (in such case, we call it typical privacy). Like differential privacy, this notion enjoys several important properties including robustness to post-processing and adaptive composition. We also discuss the guarantees of typical stability on the generalization error for a broader class of queries than that of bounded-sensitivity queries. This class contains all queries whose output distributions have a light tail, e.g., subgaussian and subexponential queries. In particular, we show that if a typically stable interaction with a dataset yields a query from that class, then this query when evaluated on the same dataset will have small generalization error with high probability (i.e., it will not overfit to the dataset). We discuss the composition guarantees of typical stability and prove a composition theorem that gives a characterization of the degradation of the parameters of typical stability/privacy under $k$-fold adaptive composition. We also give simple noise-addition algorithms that achieve this notion. These algorithms are similar to their differentially private counterparts, however, the added noise is calibrated differently.

研究の動機と目的

• 微分プライバシーが有界感度を要件としているという制限を克服するため、クエリ出力の平均のまわりでの集中性に依存する新しい安定性概念を導入すること。
• 微分プライバシーと同様にポストプロセッシングおよび適応的合成に対して強い、新たなプライバシー枠組み「典型的プライバシー」を定義すること。
• 有界感度を満たさないクエリ、特にサブガウス型およびサブ指数型クエリを含むより広いクラスのクエリに対しても一般化保証を提供する、典型的安定性の有効性を示すこと。
• 感度ではなく出力の尾部挙動に合わせてキャリブレートされたノイズを用いる、典型的安定性を達成するノイズ追加メカニズムの開発

提案手法

• データ分布から抽出されたデータセット上のクエリ出力が、その分布下での期待値のまわりにきわめて集中していることを条件として、典型的安定性を定義する。
• 同一の集中性原理に基づくプライバシー概念として典型的プライバシーを形式化し、ポストプロセッシングおよび適応的合成に対して強い性質を保証する。
• 典型的安定性下でのk重適応的合成に対して、安定性パラメータの劣化を特徴づける合成定理を確立する。
• 感度ではなく、クエリのサブガウス型またはサブ指数型ノルムに合わせてキャリブレートされたノイズを用いるノイズ追加メカニズムを提案する。
• 濃縮不等式（例：サブガウス型尾部バウンド）を用いて、典型的安定性下での一般化誤差の確率的境界を導出する。
• 軽尾分布を示す出力分布を有するクエリに対して、典型的安定性が高確率で小さな一般化誤差を意味することを証明する。

実験結果

リサーチクエスチョン

• RQ1 有界感度を要件としない安定性概念を定義でき、かつプライバシーと一般化を保証できるか？
• RQ2 典型的安定性は、有界感度を満たさないクエリ、例えばサブガウス型またはサブ指数型クエリに対しても一般化保証を提供するか？
• RQ3 典型的安定性は適応的合成においてどのように振る舞い、合成定理を確立できるか？
• RQ4 感度ではなく、クエリの尾部挙動に合わせてキャリブレートされたノイズを用いるノイズ追加メカニズムを設計し、典型的安定性を達成できるか？
• RQ5 典型的安定性はポストプロセッシングに対してロバストであるか？微分プライバシーと比較してその性質はいかにか？

主な発見

• 典型的安定性は、サブガウス型やサブ指数型など軽尾分布を示す出力分布を有するクエリに対して、高確率で小さな一般化誤差を保証する。
• k重適応的合成における典型的安定性パラメータの劣化を特徴づける合成定理を確立した。
• 感度ではなく、クエリのサブガウス型またはサブ指数型ノルムに基づいてノイズスケールを決定する、典型的安定性を達成するノイズ追加メカニズムを提案した。
• 典型的安定性は、微分プライバシーと同様にポストプロセッシングに対してロバストであり、出力のいかなる変換に対しても安定性が保たれる。
• 典型的プライバシーの枠組みは、有界感度要件を緩和しつつも、主要なプライバシーおよび一般化特性を維持する、微分プライバシーの代替案として実用的である。
• 軽尾出力分布を有するクエリに対して、典型的安定性は、経験的性能が真の性能に高確率で近いことを意味し、過学習を防止する。