[論文レビュー] Generalization in Adaptive Data Analysis and Holdout Reuse

Cynthia Dwork, Vitaly Feldman+4 more|arXiv (Cornell University)|Jun 8, 2015

Privacy-Preserving Technologies in Data参考文献 35被引用数 101

ひとこと要約

この論文は、微分プライバシーと記述長の原則を用いて過学習を防ぐことで、適応的データ解析におけるホールドアウトデータセットの安全な再利用を可能にする実用的なアルゴリズム、Thresholdoutを導入する。仮説が適応的に選択されても、一般化保証が保証されており、合成実験では標準的手法を上回り、過学習を防ぎつつ正確な性能推定を維持する。

ABSTRACT

Overfitting is the bane of data analysts, even when data are plentiful. Formal approaches to understanding this problem focus on statistical inference and generalization of individual analysis procedures. Yet the practice of data analysis is an inherently interactive and adaptive process: new analyses and hypotheses are proposed after seeing the results of previous ones, parameters are tuned on the basis of obtained results, and datasets are shared and reused. An investigation of this gap has recently been initiated by the authors in (Dwork et al., 2014), where we focused on the problem of estimating expectations of adaptively chosen functions. In this paper, we give a simple and practical method for reusing a holdout (or testing) set to validate the accuracy of hypotheses produced by a learning algorithm operating on a training set. Reusing a holdout set adaptively multiple times can easily lead to overfitting to the holdout set itself. We give an algorithm that enables the validation of a large number of adaptively chosen hypotheses, while provably avoiding overfitting. We illustrate the advantages of our algorithm over the standard use of the holdout set via a simple synthetic experiment. We also formalize and address the general problem of data reuse in adaptive data analysis. We show how the differential-privacy based approach given in (Dwork et al., 2014) is applicable much more broadly to adaptive data analysis. We then show that a simple approach based on description length can also be used to give guarantees of statistical validity in adaptive settings. Finally, we demonstrate that these incomparable approaches can be unified via the notion of approximate max-information that we introduce.

研究の動機と目的

• ホールドアウトセットが複数回、データに依存するクエリに対して再利用される際の過学習問題に対処すること。
• 統計的妥当性を損なわずに、1つのホールドアウトセット上で仮説を検証する実用的な手法を開発すること。
• 微分プライバシーと記述長の2つの異なる理論的アプローチを、一般化保証のための共通フレームワークに統合すること。
• 適応的データ解析におけるデータ再利用のより広範な問題を形式化し、最終的な出力が元のデータ分布に一般化されることを保証すること。

提案手法

• 仮説のホールドアウトセットにおける精度を推定する際に、微分プライバシー機構を用いるThresholdoutというアルゴリズムを提案し、適応的クエリに対して低い感度を維持する。
• 訓練セットとホールドアウトセットにおける実証的精度の差を比較するしきい値付きのメカニズムを採用し、差が事前に定義されたしきい値以下である場合にのみ安定した推定値を返す。
• 異なる一般化保証を持つアルゴリズムの解析と合成を可能にする統合的測度としての近似最大情報量の概念を導入する。
• 微分プライバシーと記述長の境界を組み合わせることで、適応的設定において補完的ではあるが互いに比較できない一般化保証を提供する。
• モデルの性能をホールドアウトセットで検証する一方で、その検証プロセス自体が適応的再利用によって過学習の原因とならないように保証する。
• 2段階の検証プロセスを採用する：まず、モデルの訓練セットにおける性能とホールドアウトセットにおける性能が整合しているかを確認する。次に、整合性が確認された場合にのみ安定した推定値を返す。

実験結果

リサーチクエスチョン

• RQ1 データに依存する複数回のクエリに対して、1つのホールドアウトセットを安全に何度も再利用できるか？
• RQ2 過去の結果に基づいて仮説が適応的に選ばれる場合でも、一般化保証をどのように維持できるか？
• RQ3 微分プライバシーと記述長の関係は、適応的解析における統計的妥当性を保証するためにどのように機能するか？
• RQ4 微分プライバシーと記述長の異なる一般化技法を、それぞれの保証を損なわずに合成できるか？
• RQ5 適応的ホールドアウト再利用の文脈で、微分プライバシーが提供する一般化保証よりも強い保証を達成できるか？

主な発見

• 合成実験において、Thresholdoutはホールドアウトセットへの過学習を効果的に防ぎ、繰り返し適応的クエリが加えられても分類器の性能推定が正確に維持されている。
• 相関のない変数を用いた実験では、標準的手法のホールドアウトセットは顕著な過学習を示したが、Thresholdoutは安定的かつ正確な一般化誤差推定を提供した。
• ラベルと相関のある変数を用いた場合でも、Thresholdoutは真のパターンを同定可能であり、現実的状況下での強健性を示した。
• Thresholdoutが報告する精度は、独立した新しいテストセットにおける真の精度に非常に近い値を示しており、ホールドアウトデータへの過学習が発生していないことを示している。
• この手法により、分析者はホールドアウト推定に基づいてさらなるデータ依存的決定を下すことができるが、統計的妥当性は損なわれない。
• 理論的分析により、微分プライバシーと記述長の2つのアプローチは、比較できないが補完的な一般化保証を提供することが示され、近似最大情報量の概念によって両者の組み合わせが可能であることが明らかになった。