[論文レビュー] More General Queries and Less Generalization Error in Adaptive Data Analysis

Raef Bassily, Adam Smith+2 more|arXiv (Cornell University)|Mar 16, 2015

Privacy-Preserving Technologies in Data参考文献 14被引用数 11

ひとこと要約

この論文は、一般化誤差を低減するために微分プライバシーを利用するより単純でモジュラーなアルゴリズムを導入することで、適応的データ解析におけるサンプル複雑度の上限を改善した。低感度および凸リスク最小化クエリを含む一般クエリ族に対する最初の上限が得られ、Dwork らおよびHardtとUllmanの先行研究を著しく改善した。

ABSTRACT

Adaptivity is an important feature of data analysis---typically the choice of questions asked about a dataset depends on previous interactions with the same dataset. However, generalization error is typically bounded in a non-adaptive model, where all questions are specified before the dataset is drawn. Recent work by Dwork et al. (STOC '15) and Hardt and Ullman (FOCS '14) initiated the formal study of this problem, and gave the first upper and lower bounds on the achievable generalization error for adaptive data analysis. Specifically, suppose there is an unknown distribution $\mathcal{P}$ and a set of $n$ independent samples $x$ is drawn from $\mathcal{P}$. We seek an algorithm that, given $x$ as input, "accurately" answers a sequence of adaptively chosen "queries" about the unknown distribution $\mathcal{P}$. How many samples $n$ must we draw from the distribution, as a function of the type of queries, the number of queries, and the desired level of accuracy? In this work we make two new contributions towards resolving this question: *We give upper bounds on the number of samples $n$ that are needed to answer statistical queries that improve over the bounds of Dwork et al. *We prove the first upper bounds on the number of samples required to answer more general families of queries. These include arbitrary low-sensitivity queries and the important class of convex risk minimization queries. As in Dwork et al., our algorithms are based on a connection between differential privacy and generalization error, but we feel that our analysis is simpler and more modular, which may be useful for studying these questions in the future.

研究の動機と目的

• 同じデータセットに対する以前の相互作用に依存するクエリにおいて、一般化誤差を制御する課題に対処すること。
• 特に適応的設定において、統計的クエリの既存のサンプル複雑度の上限を改善すること。
• 基本的な統計的クエリを越えて、低感度および凸リスク最小化クエリなどのより一般的なクエリ族への理論的保証を拡張すること。
• 微分プライバシーに基づく一般化の分析を単純化し、モジュラー化することで、今後の研究にさらにアクセスしやすくすること。

提案手法

• 著者たちは、微分プライバシーと一般化誤差の間の関係を活用し、プライバシー機構を用いて適応的クエリワークロードにおける過学習を制限する。
• 適応的クエリに正確に応える一方で微分プライバシーを維持する新しいアルゴリズムを設計し、一般化誤差を低く保証する。
• このアプローチはモジュラーであり、クエリ族の感度と構造を分析することで、異なるクエリ族に対する体系的な分析が可能である。
• 凸リスク最小化クエリの場合、滑らかさと凸性の性質を活用して、よりタイトなサンプル複雑度の上限を導出する。
• 感度に基づくメカニズムに注目することで、複雑な依存関係を避けて、先行の証明を単純化する。
• このフレームワークは、有界および無限クエリ族の両方をサポートし、より広範な適用性を実現する。

実験結果

リサーチクエスチョン

• RQ1 適応的統計的クエリを低一般化誤差で答えられるために必要な最小サンプル数は何か？
• RQ2 基本的な統計的クエリを越えたより複雑なクエリ族に対して、一般化誤差をどのように制限できるか？
• RQ3 微分プライバシーをより危単でモジュラーな方法で用いることで、よりタイトなサンプル複雑度の上限を達成できるか？
• RQ4 適応的設定において、低感度および凸リスク最小化クエリに対してどの程度のサンプル複雑度が達成可能か？
• RQ5 提案手法は、Dwork らおよびHardtとUllmanの結果に比べて、どの程度サンプル効率が向上するか？

主な発見

• この論文は、適応的統計的クエリのサンプル複雑度に対する改善された上限を確立し、Dwork らの先行結果を上回った。
• 低感度クエリのサンプル複雑度に対する最初の上限が得られ、証明可能に一般化可能なアルゴリズムの範囲が拡張された。
• 凸リスク最小化クエリに対しては、問題パラメータに応じて効率的にスケーリングするサンプル複雑度で、一般化誤差が有界に保たれる。
• 提案されたアルゴリズムは、以前の手法よりも単純でモジュラーであり、今後の拡張や分析を容易にする。
• 微分プライバシーと一般化の関係が、理論的明確性と実用的適用性の両方を高める形で形式化された。