[論文レビュー] Generalization for Adaptively-chosen Estimators via Stable Median

Vitaly Feldman, Thomas Steinke|arXiv (Cornell University)|Jun 15, 2017

Privacy-Preserving Technologies in Data参考文献 10被引用数 5

ひとこと要約

この論文は、安定した中央値推定器に基づく新しいアルゴリズムを導入し、√k個のサンプルのみで、適応的に選択された推定量に対する正確な一般化を可能にする。従来の方法が線形またはそれ以上のサンプル複雑性を必要としていたのに対し、著しく改善されている。このアプローチは微分プライバシーを活用して安定性と一般化を保証し、推定量の感度に依存しない誤差バウンドを達成するとともに、再利用可能なホールドアウト技術による検証で対数的サンプル複雑性を実現する。

ABSTRACT

Datasets are often reused to perform multiple statistical analyses in an adaptive way, in which each analysis may depend on the outcomes of previous analyses on the same dataset. Standard statistical guarantees do not account for these dependencies and little is known about how to provably avoid overfitting and false discovery in the adaptive setting. We consider a natural formalization of this problem in which the goal is to design an algorithm that, given a limited number of i.i.d.~samples from an unknown distribution, can answer adaptively-chosen queries about that distribution. We present an algorithm that estimates the expectations of $k$ arbitrary adaptively-chosen real-valued estimators using a number of samples that scales as $\sqrt{k}$. The answers given by our algorithm are essentially as accurate as if fresh samples were used to evaluate each estimator. In contrast, prior work yields error guarantees that scale with the worst-case sensitivity of each estimator. We also give a version of our algorithm that can be used to verify answers to such queries where the sample complexity depends logarithmically on the number of queries $k$ (as in the reusable holdout technique). Our algorithm is based on a simple approximate median algorithm that satisfies the strong stability guarantees of differential privacy. Our techniques provide a new approach for analyzing the generalization guarantees of differentially private algorithms.

研究の動機と目的

• 適応的データ解析における過学習と誤った発見の課題に取り組むこと。ここで、クエリが以前の結果に依存しており、標準的な統計的保証が失効する。
• k個の適応的に選択された実数値推定量に対して最小限のサンプルで正確な推定を提供するアルゴリズムを設計すること。従来の方法が線形のサンプル複雑性を要していたのを回避する。
• 推定量の感度に依存しない一般化保証を達成すること。これに対して、先行研究は最悪ケースの感度に比例してスケーリングしていた。
• 再利用可能なホールドアウト技術を用いて、適応的クエリに対する答えの検証を効率的に行えるようにすること。
• 安定した中央値推定を用いて、微分プライバシーを持つアルゴリズムにおける一般化の理解を新たに分析フレームワークとして提供すること。

提案手法

• 強い微分プライバシー保証を満たす安定した中央値アルゴリズムを提案し、適応的クエリ依存性に対して耐性を発揮する。
• 近似中央値問題から統計的クエリへの還元を用い、分布的制約下での期待値推定を可能にする。
• プライベートな乗法的重み法を適用し、k個の適応的クエリに対して精度αを達成するためのサンプル複雑性O(√(log|X|)·log(k/α)·log³ᐟ²(1/β)/α³)を実現する。
• 実数値推定量を有限集合Tへのマッピングにより離散化し、統計的クエリアルゴリズムの適用を可能にする戦略を採用する。
• 微分プライバシーと中央値ベース推定を組み合わせ、個々の推定量の最悪ケース感度に依存しない一般化を達成する。
• 再利用可能なホールドアウト技術を活用し、低コストのサンプルオーバーヘッドで繰り返しクエリ検証を可能にする、微分プライバシー機構を構築する。

実験結果

リサーチクエスチョン

• RQ1 k個のクエリに対して、クエリ数に比べて非線形（サブラインア）なサンプル複雑性で適応的に選択された推定量に対して一般化が可能なアルゴリズムを設計できるか？
• RQ2 適応的設定において、個々の推定量の最悪ケース感度に依存しない一般化誤差を達成することは可能か？
• RQ3 適応的クエリに対する答えの正確な推定と検証を両立できる微分プライバシー機構を構築できるか？
• RQ4 微分プライバシー下で、k個の適応的に選択された推定量に対する一般化を保証するための最小サンプル複雑性は何か？
• RQ5 安定した中央値推定は、既存のプライベートクエリ回答フレームワークを越えて、適応的データ解析における一般化をどのように改善できるか？

主な発見

• 提案されたアルゴリズムは、O(√k)個のサンプルでk個の適応的に選択された推定量の一般化を達成し、従来の方法が線形またはそれ以上のスケーリングを要していたのを著しく改善している。
• 誤差バウンドは、個々の推定量の最悪ケース感度に依存せず、これに対して従来のアプローチは感度に比例してスケーリングしていた。
• 答えの検証に関しては、サンプル複雑性がkに関して対数的にスケーリングされ、再利用可能なホールドアウト方式の検証が効率的に行える。
• 低感度クエリに対して最適なサンプル複雑性を達成し、精度αに対してn = O(√(log|X|)·log(k/α)·log³ᐟ²(1/β)/α³)のサンプル数を要する。
• 安定した中央値推定を用いて、微分プライバシーを持つアルゴリズムにおける一般化の理解を新たな分析フレームワークとして提供する。
• クエリが適応的に選択されても、データ分布上での高確率保証のもとで正確な推定が可能である。