[論文レビュー] Preserving Statistical Validity in Adaptive Data Analysis

Cynthia Dwork, Vitaly Feldman+4 more|arXiv (Cornell University)|Nov 10, 2014

Privacy-Preserving Technologies in Data参考文献 28被引用数 16

ひとこと要約

本稿は、微分プライバシー技術を活用して、指数的多数の適応的選択クエリの期待値を正確に推定できるようにする、統計的妥当性を保持するための新規フレームワークを提案する。このフレームワークは、再利用されたデータに対する過剰適合を防ぐために、調整されたノイズ付き推定メカニズムを用いる。その結果、適応的クエリワークロード下でも誤差境界が保証される。

ABSTRACT

A great deal of effort has been devoted to reducing the risk of spurious scientific discoveries, from the use of sophisticated validation techniques, to deep statistical methods for controlling the false discovery rate in multiple hypothesis testing. However, there is a fundamental disconnect between the theoretical results and the practice of data analysis: the theory of statistical inference assumes a fixed collection of hypotheses to be tested, or learning algorithms to be applied, selected non-adaptively before the data are gathered, whereas in practice data is shared and reused with hypotheses and new analyses being generated on the basis of data exploration and the outcomes of previous analyses. In this work we initiate a principled study of how to guarantee the validity of statistical inference in adaptive data analysis. As an instance of this problem, we propose and investigate the question of estimating the expectations of $m$ adaptively chosen functions on an unknown distribution given $n$ random samples. We show that, surprisingly, there is a way to estimate an exponential in $n$ number of expectations accurately even if the functions are chosen adaptively. This gives an exponential improvement over standard empirical estimators that are limited to a linear number of estimates. Our result follows from a general technique that counter-intuitively involves actively perturbing and coordinating the estimates, using techniques developed for privacy preservation. We give additional applications of this technique to our question.

研究の動機と目的

• 理論的統計的推論（固定仮説）と現実世界の適応的データ解析（過去の結果に基づいて仮説が生成される）の間にある根本的な乖離を解消すること。
• 同じデータセットが複数の適応的選択クエリに繰り返し使用される状況でも、統計的妥当性を保証する手法を開発すること。
• 標準的な経験的推定器の限界を克服すること。これらは再利用に伴う過剰適合と誤差制御の欠如により、適応的再利用下で失敗する。
• 特に、過去の結果に基づいて適応的に選択された多数のクエリについても、期待値の正確な推定を保証する一般化可能な手法を提供すること。
• 微分プライバシーが、プライバシーの目的だけでなく、適応的環境における統計的妥当性の確保にも再利用可能であることを示すこと。

提案手法

• 本手法は、独立な推定サンプル集合 $ S_1, \dots, S_r $ と、答えの検証に用いる別個のホールドアウトサンプル $ S_h $ を使用する。
• 推定サンプルがクエリ列に対して過剰適合していないかを検出するために、SPARSE と呼ばれる微分プライバシーを満たすアルゴリズムを採用する。
• 各クエリに対して、現在の推定サンプル $ S_c $ で初期推定値を計算し、その後、SPARSE を用いてホールドアウトサンプル $ S_h $ との整合性を確認する。
• SPARSE が $ \bot $ を返した場合、$ S_c $ からの推定値は有効とみなされ採用される。それ以外の場合は、次の推定サンプル $ S_{c+1} $ に切り替える。
• 整合性の欠如が検出された際に、推定サンプルを動的に破棄・置き換えすることで、統計的に有効な推定値のみを返すことを保証する。
• 微分プライバシーの合成定理を用いて理論的保証を導出し、誤差境界が高確率で成立することを保証する。

実験結果

リサーチクエスチョン

• RQ1 同じデータセットが適応的に選択されたクエリの連鎖に対して繰り返し使用される状況でも、統計的妥当性を保持できるか？
• RQ2 適応的データ解析下で、指数的多数のクエリの期待値を正確に推定することは可能か？
• RQ3 微分プライバシー技術を、プライバシーの目的だけでなく、統計的妥当性の確保という目的にも再利用可能か？
• RQ4 再利用されたデータに対する過剰適合を防ぎながら、適応的クエリワークロードにおいて高い正確性を維持する方法は何か？
• RQ5 $ m $ 個の適応的選択クエリと $ r $ ラウンドの適応的プロセスを想定する場合、統計的妥当性を保証するために必要な最小サンプルサイズは何か？

主な発見

• アルゴリズムは、$ m $ 個の未知の分布上での適応的選択関数の期待値を、$ O\left(\frac{r \ln(1/\beta)}{\tau^2}\right) $ サンプルのみで正確に推定可能であり、$ m $ に依存しない。
• 標準的な経験的推定器に比べて、過剰適合が発生するまでのクエリ数が線形的ではなく指数的に増加するという顕著な改善を達成する。
• サンプルサイズが $ n \geq C \cdot n_{SV}(\tau, \beta) $ を満たす場合、すべてのクエリについて誤差が $ \tau $ を超える確率は $ \beta $ 以下であることが保証される。ここで $ C $ は十分に大きな定数である。
• ホールドアウトセットに対する過剰適合を、過剰適合した推定サンプルを検出し破棄することで、適応的に選択されたクエリに対しても効果的に防止する。
• 閾値 $ T = \tau/4 $ および $ \epsilon = \tau/16 $ を用いた SPARSE の使用により、アルゴリズムは実際の適応的レベルに適応し、最悪ケースの境界に依存しない。
• アルゴリズムは確率 $ 1 - m\beta $ 以上で正常に終了し、適応的プロセスのラウンド数 $ r $ がサンプル複雑性を決定する主要なパラメータである。