[論文レビュー] A Minimax Theory for Adaptive Data Analysis

Yu-Xiang Wang, Jing Lei+1 more|arXiv (Cornell University)|Feb 13, 2016

Distributed Sensor Networks and Detection Algorithms参考文献 9被引用数 11

ひとこと要約

本稿は、ガウス型クエリの仮定の下で、適応的データ解析のためのミニマックスフレームワークを導入し、二乗誤差の鋭い下界 $O\left(\frac{\sqrt{k}\sigma^2}{n}\right)$ を確立する。独立したガウスノイズの追加が定数因子を除いてミニマックス的に最適であることを証明し、1ステップおよびkステップの適応性が、おおよそ同じ最悪ケース誤差の増加をもたらすことを示しており、バイアスを最大にするために単一の段階の適応性を使用する近似的に最も不利な敵対者がある。

ABSTRACT

In adaptive data analysis, the user makes a sequence of queries on the data, where at each step the choice of query may depend on the results in previous steps. The releases are often randomized in order to reduce overfitting for such adaptively chosen queries. In this paper, we propose a minimax framework for adaptive data analysis. Assuming Gaussianity of queries, we establish the first sharp minimax lower bound on the squared error in the order of $O(\frac{\sqrt{k}σ^2}{n})$, where $k$ is the number of queries asked, and $σ^2/n$ is the ordinary signal-to-noise ratio for a single query. Our lower bound is based on the construction of an approximately least favorable adversary who picks a sequence of queries that are most likely to be affected by overfitting. This approximately least favorable adversary uses only one level of adaptivity, suggesting that the minimax risk for 1-step adaptivity with k-1 initial releases and that for $k$-step adaptivity are on the same order. The key technical component of the lower bound proof is a reduction to finding the convoluting distribution that optimally obfuscates the sign of a Gaussian signal. Our lower bound construction also reveals a transparent and elementary proof of the matching upper bound as an alternative approach to Russo and Zou (2015), who used information-theoretic tools to provide the same upper bound. We believe that the proposed framework opens up opportunities to obtain theoretical insights for many other settings of adaptive data analysis, which would extend the idea to more practical realms.

研究の動機と目的

• 適応的データ解析のためのミニマックスフレームワークを構築し、先行研究の設定を一般化・統一すること。
• ガウス仮定の下での適応的クエリに対して、初めてのレート最適ミニマックス下界を導出すること。
• ルッソ＆ゾウ（2015）の結果と一致する上界を、透明で初等的な証明により導出することにより、定数要因を改善すること。
• クエリクラスの豊かさがミニマックスリスクに与える影響、およびそのkに依存する性質を明確にすること。

提案手法

• kステップの適応的データ解析とガウス型クエリを想定したミニマックスリスクフレームワークを定式化する。
• バイアスを最大にするためにクエリを選択する近似的に最も不利な敵対者を構築する。その際、ガウス信号の符号最適化を用いた畳み込みを用いる。
• 下界の証明を、ガウス信号の符号を曇らせる最適な畳み込み分布を見つける問題に還元する。
• ミニマックス下界を導出するために、分類問題への還元を用いる。
• 情報理論的ツールを避けることで、ガウスノイズの追加に関する直接的解析により、同一の上界を導出することを示す。
• クエリクラスの豊かさが与える影響を分析し、クラスが十分に豊かであればミニマックスリスクが $\sqrt{k}$ のオーダーに比例することを示す。

実験結果

リサーチクエスチョン

• RQ1 kステップの適応的データ解析におけるミニマックスリスクは、ガウス型クエリ仮定のもとでどのように定義され、kおよび信号対雑音比にどのように依存するか？
• RQ2 ルッソ＆ゾウ（2015）が得た推定誤差の上界は、より単純で情報理論的でない証明により導出可能か？
• RQ3 1ステップの適応性は、kステップの適応性と同等の最悪ケース誤差率を達成するのに十分か？
• RQ4 クエリクラスの豊かさは、特に $k \ll \log|\mathcal{T}|$ または $k \gg d$ のような状況下で、ミニマックスリスクにどのように影響を与えるか？
• RQ5 クエリクラスが有限または低次元のメトリックエントロピーを持つ場合、ミニマックスレートはどのように定義されるか？

主な発見

• 適応的データ解析のミニマックス下界は $O\left(\frac{\sqrt{k}\sigma^2}{n}\right)$ であり、定数因子を除いて上界と一致する。
• 同一の上界は、ガウスノイズの追加に基づく初等的証明により導出可能であり、ルッソ＆ゾウ（2015）の結果より定数要因を改善できる。
• kステップの適応性における最悪ケースリスクは、1ステップの適応性と同程度のオーダーであり、単一の段階の適応性が最悪ケースバイアスを捉えていることを示唆する。
• 近似的に最も不利な敵対者は、過去の結果と最も相関の強いクエリを選択し、符号パターンは最適な分類器によって決定される。
• クエリクラスが十分に豊かである場合（例：$k \ll \log|\mathcal{T}|$）、ミニマックスリスクは $\sqrt{k}$ のオーダーに増加するが、そうでない場合は一様収束によりより良いレートが得られる可能性がある。
• $k > d$ の場合、$\sqrt{k}$ のスケーリングは成立しなくなる可能性があり、リスクは $O(d\sigma^2/n)$ のオーダーに比例する可能性があり、$k \sim d$ の付近で段階的転移が生じる可能性がある。