[論文レビュー] Bayesian Adaptive Data Analysis Guarantees from Subgaussianity

Sam Elder|arXiv (Cornell University)|Oct 31, 2016

Statistical Methods and Inference参考文献 6被引用数 10

ひとこと要約

本稿は、ディリクレ事前分布のもとで、事後平均カレーター手法が、静的状況と同等の統計的精度を達成することを示す、ベイジアン適応的データ解析における最初の肯定的保証を確立した。これは、ベータ分布における新しいサブガウス型集中不等式のおかげで、$ O(1/\epsilon^2 \log(q/\delta)) $ のサンプル数で達成可能である。主な洞察は、遮断処理を施さないまま、過学習に対して自然に耐性を示すという点であり、従来の微分プライバシーに基づく手法とは対照的である。

ABSTRACT

The new field of adaptive data analysis seeks to provide algorithms and provable guarantees for models of machine learning that allow researchers to reuse their data, which normally falls outside of the usual statistical paradigm of static data analysis. In 2014, Dwork, Feldman, Hardt, Pitassi, Reingold and Roth introduced one potential model and proposed several solutions based on differential privacy. In previous work in 2016, we described a problem with this model and instead proposed a Bayesian variant, but also found that the analogous Bayesian methods cannot achieve the same statistical guarantees as in the static case. In this paper, we prove the first positive results for the Bayesian model, showing that with a Dirichlet prior, the posterior mean algorithm indeed matches the statistical guarantees of the static case. The main ingredient is a new theorem showing that the $\mathrm{Beta}(α,β)$ distribution is subgaussian with variance proxy $O(1/(α+β+1))$, a concentration result also of independent interest. We provide two proofs of this result: a probabilistic proof utilizing a simple condition for the raw moments of a positive random variable and a learning-theoretic proof based on considering the beta distribution as a posterior, both of which have implications to other related problems.

研究の動機と目的

• ベイジアン適応的データ解析において、静的状況と同等の性能を達成できないという既存手法の欠陥を是正すること。
• 高次元かつコードベースのクエリ設定において、事後平均アルゴリズムが不安定化するという先行研究で指摘された問題を解決すること。
• 適応的設定において、事後平均カレーターが最適な $ O(1/\epsilon^2 \log(q/\delta)) $ のサンプル複雑度を達成できる条件を確立すること。
• 事後平均が $ \operatorname{Beta}(\alpha,\beta) $ 分布において、分散代理 $ O(1/(\alpha+\beta+1)) $ のサブガウス型であることを証明すること。これは独立に興味深い結果である。
• 事後平均がデータの摂動およびサンプルの更新に対して安定であることを示し、適応的クエリワークロードにおける耐障害性を保証すること。

提案手法

• 正の確率変数のモーメントに関する確率的境界を用いて、$ \operatorname{Beta}(\alpha,\beta) $ 分布が $ O(1/(\alpha+\beta+1)) $-サブガウス型であることを証明する。
• ベータ分布を事後分布として解釈することで、学習理論的視点から再び証明する。サブガウス型性と事後安定性の関連を明確にする。
• 1サンプルあたりの事後平均の変化が、$ O(1/n^2) $-サブガウス型であり、ほとんど確実に $ O(1/n) $-有界であることを示し、収束性と集中性を保証する。
• 4つの同等の安定性条件を確立する：事後平均更新のサブガウス型性、1サンプルあたりの変化の有界性、置換下でのサンプル不変性、および経験平均に関するリプシッツ連続性。
• 事後平均のマルティングルの進化にアズマの不等式を適用し、$ O(1/n) $ のオーダーの誤差境界を導出する。これにより、$ O(1/\epsilon^2 \log(q/\delta)) $ のサンプル複雑度が導かれる。
• データ摂動に対する事後平均の安定性を活用し、微分プライバシーによる遮断処理なしに、静的状況と同等の性能を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン適応的データ解析における事後平均カレーター手法は、微分プライバシーに依存せずに、静的状況と同等のサンプル複雑度を達成できるか？
• RQ2 事後平均の安定性と関連して、$ \operatorname{Beta}(\alpha,\beta) $ 分布が示すサブガウス型集中特性は何か？
• RQ3 どのような条件下で、事後平均はデータ摂動および適応的クエリ列に対して、ベイジアンモデルにおいて頑健であるか？
• RQ4 事前分布がディリクレ分布である場合に、事後平均が適応的設定で $ O(1/\epsilon^2 \log(q/\delta)) $ の精度を達成できるか？
• RQ5 微分プライバシーによる遮断処理なしに、過学習を防ぎ、静的性能を達成できる非遮断メカニズムは存在するか？

主な発見

• ディリクル事前分布を用いた事後平均カレーターは、静的状況と同等の統計的精度を達成し、$ O(1/\epsilon^2 \log(q/\delta)) $ のサンプル数を要する。これは最適な境界と一致する。
• $ \operatorname{Beta}(\alpha,\beta) $ 分布は $ O(1/(\alpha+\beta+1)) $-サブガウス型であり、モーメントの境界と事後分布の解釈によって証明された。
• 1サンプルあたりの事後平均の変化は、$ O(1/n^2) $-サブガウス型であり、ほとんど確実に $ O(1/n) $-有界である。これにより収束性と安定性が保証される。
• 1つのデータポイントを置き換えると、事後平均は最大で $ O(1/n) $ の変化にとどまる。これは、データ摂動に対する頑健性を確認する。
• 事後平均は経験平均に関して $ O(1) $-リプシッツ連続関数であり、安定で感度が低い推定器と関連づけられる。
• 本研究の結果は、ディリクル＝ベータモデルにおいて、遮断処理なしに自然に適応的過学習を回避できることを示しており、従来の微分プライバシーに基づくアプローチとは対照的である。