[論文レビュー] Typical Stability

Raef Bassily, Yoav Freund|arXiv (Cornell University)|Apr 12, 2016

Privacy-Preserving Technologies in Data参考文献 4被引用数 5

ひとこと要約

本稿では、有界感度や独立標本を要件としない適応的データ分析における一般化誤差を制御する、新たなアルゴリズム的安定性の概念「典型安定性」を導入する。この安定性は、データ分布下での期待値の周囲にクエリ出力が集中することを保証し、サブガウス型およびサブ指数型クエリに対して、適切に調整されたノイズを追加するメカニズムを可能にする。

ABSTRACT

In this paper, we introduce a notion of algorithmic stability called typical stability. When our goal is to release real-valued queries (statistics) computed over a dataset, this notion does not require the queries to be of bounded sensitivity -- a condition that is generally assumed under differential privacy [DMNS06, Dwork06] when used as a notion of algorithmic stability [DFHPRR15a, DFHPRR15b, BNSSSU16] -- nor does it require the samples in the dataset to be independent -- a condition that is usually assumed when generalization-error guarantees are sought. Instead, typical stability requires the output of the query, when computed on a dataset drawn from the underlying distribution, to be concentrated around its expected value with respect to that distribution. We discuss the implications of typical stability on the generalization error (i.e., the difference between the value of the query computed on the dataset and the expected value of the query with respect to the true data distribution). We show that typical stability can control generalization error in adaptive data analysis even when the samples in the dataset are not necessarily independent and when queries to be computed are not necessarily of bounded-sensitivity as long as the results of the queries over the dataset (i.e., the computed statistics) follow a distribution with a light tail. Examples of such queries include, but not limited to, subgaussian and subexponential queries. We also discuss the composition guarantees of typical stability and prove composition theorems that characterize the degradation of the parameters of typical stability under $k$-fold adaptive composition. We also give simple noise-addition algorithms that achieve this notion. These algorithms are similar to their differentially private counterparts, however, the added noise is calibrated differently.

研究の動機と目的

• 有界感度や独立標本を要件とする従来の安定性概念の限界を解消すること。
• 標本が従属している場合やクエリの有界感度がない場合でも適用可能な、実数値クエリを対象とした安定性フレームワークの構築。
• データの従属性およびクエリ感度に関する最小限の仮定のもとで、一般化誤差の理論的保証を提供すること。
• k回の適応的合成における典型安定性の合成定理を確立すること。
• 分布固有のノイズ調整により典型安定性を達成するノイズ追加メカニズムの設計。

提案手法

• クエリ出力が真のデータ分布下での期待値の周囲に集中することを特徴づける、典型安定性を定義する。
• サブガウス型およびサブ指数型の尾部条件を用いて、クエリ結果の集中行動を特徴づける。
• k回の適応的クエリ反復における典型安定性パラメータの劣化を定量的に示す合成定理を定式化する。
• ノイズの分散をクエリ出力分布の尾部挙動に合わせて調整するノイズ追加メカニズムを提案する。
• 尾部の減衰（軽尾分布）と一般化誤差の制御の相互作用を分析する。
• クエリ出力分布に特化した集中不等式を用いて、一般化誤差の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 クエリの有界感度を仮定しないで、適応的データ分析における一般化誤差を制御することは可能か？
• RQ2 データセット内の標本が従属している場合でも、安定した性能を確保することは可能か？
• RQ3 繰り返し適応的クエリが加えられた場合、典型安定性はどのように劣化するのか？その劣化を支配する合成定理は何か？
• RQ4 どのノイズ調整戦略が典型安定性を達成しつつ、性能を維持できるか？
• RQ5 サブガウス型、サブ指数型など、どのようなクエリクラスが自然に典型安定性を満たすか？

主な発見

• 典型安定性は、クエリの有界感度がない場合でも、適応的データ分析における一般化誤差を制御可能である。
• このフレームワークは従属標本に対しても適用可能であり、一般化誤差解析における標準的仮定を緩和する。
• 合成定理により、典型安定性パラメータがk回の適応的クエリにおいて予測可能な方法で劣化することが示された。
• 典型安定性を達成するノイズ追加メカニズムは、微分プライバシーのメカニズムに類似しているが、ノイズの調整がクエリ出力の尾部挙動に依存する。
• サブガウス型およびサブ指数型クエリは、その軽尾型出力分布のおかげで、自然に典型安定性を満たす。
• 微分プライバシーまたは標準的一般化境界が要請する仮定よりも弱い仮定のもとで、一般化保証を可能にする。