[論文レビュー] Tests in adaptive regression via the Kac-Rice formula

Jonathan Taylor, Joshua R. Loftus+1 more|arXiv (Cornell University)|Aug 14, 2013

Statistical Methods and Inference参考文献 15被引用数 15

ひとこと要約

本稿は、ガウス誤差のもとで有限標本における推論を可能にする、適応回帰におけるグローバルノルム仮説の正確なp値検定を提案する。この手法は、凸集合上のガウス過程の最大値の分布を利用し、最大値をとる点における平均パラメータの正確な選択的推論を実現する。応用例としてlasso、グループlasso、主成分分析、行列補完が含まれる。

ABSTRACT

We derive an exact p-value for testing a global null hypothesis in a general adaptive regression problem. The general approach uses the Kac-Rice formula, as described in (Adler & Taylor 2007). The resulting formula is exact in finite samples, requiring only Gaussianity of the errors. We apply the formula to the lasso, group lasso, and principal components and matrix completion problems. In the case of the lasso, the new test relates closely to the recently proposed covariance test of Lockhart et al. (2013).

研究の動機と目的

• 一般の凸正則化を用いた適応回帰設定におけるグローバルノルム仮説の正確な推論フレームワークの構築を目的とする。
• 凸集合上でのガウス過程の最大値の分布にKac-Rice公式を適用し、有限標本におけるp値を導出することを目的とする。
• ガウス誤差仮定のもとで、過程のグローバル最大値における平均パラメータの選択的推論を拡張することを目的とする。
• lasso、グループlasso、主成分分析、行列補完問題に適用可能な統一的フレームワークの提供を目的とする。
• 提案手法が正確（非漸近的）であり、設計行列に最小限の仮定を置くだけで、ガウス性に依存することを目的とする。

提案手法

• 凸集合 $\mathcal{K} \subseteq \mathbb{R}^p$ にインデックスされたガウス過程の上界の分布に対するKac-Rice公式を導出する。
• 帰無仮説 $H_0: \beta_0 = 0$ の下で、$\mathcal{K} = \{\eta : \|\eta\|_1 \leq 1\}$ における検定統計量 $\lambda_1 = \max_{\eta \in \mathcal{K}} \eta^T X^T y$ に公式を適用する。
• 検定統計量を標準正規分布関数の比として定義する：$\frac{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\lambda_1/\Theta_{j^*j^*}^{1/2})}{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\mathcal{V}^-_{\eta^*}/\Theta_{j^*j^*}^{1/2})}$ であり、帰無仮説の下で正確に一様分布に従う。
• $\mathcal{V}^-_{\eta^*}$ および $\mathcal{V}^+_{\eta^*}$ を、部分微分可能条件と共分散構造 $\Theta = X^T \Sigma X$ から導かれる臨界境界として定義する。
• ガウス誤差のもとで検定が正確であり、漸近的近似や設計行列の制限を必要としないことを確立する。
• 双対性およびサポート関数論を用いて、罰則部分微分集合の極体を用いて、一般の正則化回帰問題へのフレームワークの拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 一般の凸正則化を用いた適応回帰におけるグローバルノルム仮説 $H_0: \beta_0 = 0$ の正確なp値を導出できるか？
• RQ2 Kac-Rice公式を凸集合上でのガウス過程の最大値に適用することで、有限標本における推論を可能にする方法は何か？
• RQ3 帰無仮説の下でlassoパスにおける最初のノード $\lambda_1$ の正確な分布は何か？
• RQ4 提案手法の検定は、Lockhartら（2013）の共分散検定と比較して、妥当性および保守性の点でどのように異なるか？
• RQ5 このフレームワークを用いて、最大値における平均パラメータの選択的推論を正確に行えるか？

主な発見

• 提案された検定統計量 $\frac{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\lambda_1/\Theta_{j^*j^*}^{1/2})}{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\mathcal{V}^-_{\eta^*}/\Theta_{j^*j^*}^{1/2})}$ は、グローバルノルム仮説の下で正確に一様分布に従う。
• 標準化されたlassoの場合（$\Sigma = I$）、検定は $\frac{1 - \Phi(\lambda_1)}{1 - \Phi(\lambda_2)} \sim \mathrm{Unif}(0,1)$ に簡略化され、ここで $\lambda_2$ はlassoパスにおける2番目のノードである。
• Kac-Rice検定は正確かつ非漸近的であり、ガウス誤差仮定にのみ依存し、設計行列 $X$ に制限を課さない。
• この手法は、選択イベントにとどまらず、ガウス過程のグローバル最大値における平均パラメータの正確な選択的推論を提供する。
• 図1(a)の実験結果により、Kac-Rice検定からのp値が帰無仮説の下で一様に分布することが確認され、その正確性が裏付けられた。
• 共分散検定とは異なり、$\mathrm{Exp}(1)$ 近似を用いるため保守的であるのに対し、Kac-Rice検定は漸近的近似に依存せず、正確である。