[論文レビュー] Challenges in Bayesian Adaptive Data Analysis

Sam Elder|arXiv (Cornell University)|Apr 8, 2016

Machine Learning and Algorithms参考文献 13被引用数 5

ひとこと要約

この論文は、強い非現実的な情報非対称性に依存する従来の頻度主義モデルの限界を克服するためのベイジアン枠組みを導入する。公開された事前分布を用いて対称性を強制することで、わずかに相関するクエリから生じる適応的クエリの新たな課題が明らかになり、標準的なばらまき技術では回避できない。これは、優れた手法でもサンプル複雑性 $ n \sim \sqrt[4]{q} $ を必要とすることを示しており、従来の下界を超える、以前に隠れていた適応的データ解析の障壁を露呈する。

ABSTRACT

Traditional statistical analysis requires that the analysis process and data are independent. By contrast, the new field of adaptive data analysis hopes to understand and provide algorithms and accuracy guarantees for research as it is commonly performed in practice, as an iterative process of interacting repeatedly with the same data set, such as repeated tests against a holdout set. Previous work has defined a model with a rather strong lower bound on sample complexity in terms of the number of queries, $n\sim\sqrt q$, arguing that adaptive data analysis is much harder than static data analysis, where $n\sim\log q$ is possible. Instead, we argue that those strong lower bounds point to a limitation of the previous model in that it must consider wildly asymmetric scenarios which do not hold in typical applications. To better understand other difficulties of adaptivity, we propose a new Bayesian version of the problem that mandates symmetry. Since the other lower bound techniques are ruled out, we can more effectively see difficulties that might otherwise be overshadowed. As a first contribution to this model, we produce a new problem using error-correcting codes on which a large family of methods, including all previously proposed algorithms, require roughly $n\sim\sqrt[4]q$. These early results illustrate new difficulties in adaptive data analysis regarding slightly correlated queries on problems with concentrated uncertainty.

研究の動機と目的

• 非現実的な情報非対称性に依存する従来の適応的データ解析モデルの限界を解消すること。
• このような非対称性に基づく既存の下界技術を排除する対称的ベイジアン定式化を構築すること。
• 情報非対称性が除去されても依然として残る適応的データ解析における新たな課題を同定すること。
• ノイズ注入や丸めなどの標準的なばらまき技術—例えば、ノイズ追加や丸め—がベイジアン設定でも有効であるかどうかを評価すること。
• すべての既知のカーディアンアルゴリズムが最適なサンプル複雑性に到達できない新しい問題例を示すこと。

提案手法

• 情報非対称性を排除するために、公開され正確な事前分布を用いたベイジアン設定で適応的データ解析を形式化する。
• 頻度主義手法における経験的平均を、中心推定器としての事後平均に置き換える。
• 特定の方向に高い不確実性を持つ誤り訂正符号に基づく学習問題を構築し、挑戦的なクエリ環境を創出する。
• ほぼ直交する測定値を用いて、ノイズ、丸め、プロキシメカニズムによるばらまきがあっても、微小な効果からの情報を抽出する。
• このベイジアン文脈において、これまでに提案されたすべてのカーディアンアルゴリズムの性能を分析し、最適なサンプル複雑性に到達できない点に注目する。
• 情報非対称性とは無関係に、わずかに相関するクエリからの新しいタイプの漏洩を露呈する、独創的な問題例を導入する。

実験結果

リサーチクエスチョン

• RQ1 対称的ベイジアン定式化を採用することで、従来の頻度主義モデルが示す強い下界を回避できるか？
• RQ2 情報非対称性が除去された場合に、適応的データ解析に新たな課題として現れるものは何か？
• RQ3 ノイズ追加や丸めなどの標準的なばらまき技術—例えば、ノイズ追加や丸め—はベイジアン設定でも有効であるか？
• RQ4 情報非対称性とは無関係に、最適なサンプル複雑性を達成するための根本的障壁が存在するか？
• RQ5 相関するクエリは、ノイズや丸めによってばらまかれた状態でも、情報漏洩を引き起こす可能性があるか？もしそうなら、そのメカニズムは何か？

主な発見

• ベイジアンモデルにより、情報非対称性に基づく主な下界クラスが排除され、他の課題の明確な分析が可能になった。
• 特定の方向に集中した不確実性を持つ誤り訂正符号に基づく新しい問題は、適応的データ解析における以前に隠れていた困難を露呈した。
• この新しい問題に対して、これまでに提案されたすべてのカーディアンアルゴリズムが失敗し、サンプル複雑性 $ n \sim \sqrt[4]{q} $ を必要としており、静的状況と比べて著しく悪い。
• わずかに相関するクエリは、ノイズ、丸め、プロキシメカニズムによる標準的なばらまき技術をも超えて情報漏洩を引き起こす可能性がある。
• この文脈における標準的ばらまき手法の失敗は、従来の下界では捉えきれない新しいタイプの制限を明らかにした。
• この結果は、適応的データ解析が依然として挑戦的である一方で、核心的な困難さは従来の予想ほど深刻ではない可能性を示唆している。なぜなら、新しい障壁はクエリ数に対して多項式ではなく、対数的のべき乗（多項式対数的）であるからである。