[論文レビュー] Power of the Spacing test for Least-Angle Regression

Jean‐Marc Azäis, Yohann de Castro+1 more|arXiv (Cornell University)|Mar 17, 2015

Statistical Methods and Inference参考文献 25被引用数 9

ひとこと要約

本稿は、最小二乗角度回帰（LARS）のスパACING検定に対する理論的パワー分析を初めて確立し、既知のノイズ分散下で不偏性が保証されることを証明する。さらに、未知のノイズ分散への拡張を可能にするt-スパACING検定を導入し、計算量は立方時間で実現する。理論的考察とシミュレーションを通じて、特に支配的信号を有する高次元設定においても、この検定が強力なパワーを維持することを示す。

ABSTRACT

Recent advances in Post-Selection Inference have shown that conditional testing is relevant and tractable in high-dimensions. In the Gaussian linear model, further works have derived unconditional test statistics such as the Kac-Rice Pivot for general penalized problems. In order to test the global null, a prominent offspring of this breakthrough is the spacing test that accounts the relative separation between the first two knots of the celebrated least-angle regression (LARS) algorithm. However, no results have been shown regarding the distribution of these test statistics under the alternative. For the first time, this paper addresses this important issue for the spacing test and shows that it is unconditionally unbiased. Furthermore, we provide the first extension of the spacing test to the frame of unknown noise variance. More precisely, we investigate the power of the spacing test for LARS and prove that it is unbiased: its power is always greater or equal to the significance level $\alpha$. In particular, we describe the power of this test under various scenarii: we prove that its rejection region is optimal when the predictors are orthogonal; as the level $\alpha$ goes to zero, we show that the probability of getting a true positive is much greater than $\alpha$; and we give a detailed description of its power in the case of two predictors. Moreover, we numerically investigate a comparison between the spacing test for LARS and the Pearson's chi-squared test (goodness of fit).

研究の動機と目的

• 本研究以前に未解決であった、代替仮説下におけるLARSのスパACING検定の理論的パワーを確立すること。
• 実用的応用において重要な制限要因である、未知のノイズ分散下でのスパACING検定への拡張を図ること。
• さまざまな高次元設定におけるLARSのスパACING検定と古典的ピアソンのカイ二乗検定の性能を比較すること。
• 正規直交予測子下におけるスパACING検定の最適性と、有意水準αが0に近づく極限における挙動を特定すること。
• 帰無仮説下で分布的に取り扱いやすく、計算が容易な新しい検定統計量—LARS用のt-スパACING検定—を提供すること。

提案手法

• 帰無仮説および代替仮説下で、LARSパスにおける最初および2番目のノードλ₁とλ₂に基づくスパACING検定統計量S = Φ̄(λ₁)/Φ̄(λ₂)の理論的分析。
• スパACING検定の不偏性の証明：既知のノイズ分散および正規化された予測子に関する仮定(H)の下で、任意のα ∈ (0,1)に対してパワー ≥ αが成り立つことの証明。
• ノイズ分散が未知の場合の帰無仮説下におけるt分布近似に基づく、t-スパACING検定統計量の導出。
• アンドリュースの不等式および標準正規生存関数の性質を用いて、検定統計量の分布の単調性および境界を確立。
• 複数のシナリオにおける数値シミュレーション：2次元モデル、全モデル（s=n=p）、スパースモデル（s≪p）、および支配的信号を有する極めてスパースなモデル。
• レベル集合を用いたパワー関数の比較および、信号強度と相関構造を変化させた際の、スパACING検定とピアソンのカイ二乗検定の実効的パワー比較。

実験結果

リサーチクエスチョン

• RQ1 LARSのスパACING検定は、代替仮説下でも不偏であるか。すなわち、パワーが常に有意水準α以上となるか。
• RQ2 特に信号がスパースである場合や、1つの予測子が支配的である場合に、LARSのスパACING検定のパワーはどのように振る舞うか。
• RQ3 ノイズ分散が未知の場合に、スパACING検定をどのように拡張できるか。その場合の検定統計量および帰無仮説下での分布は何か。
• RQ4 さまざまな信号構成において、LARSのスパACING検定の実効的パワーは、古典的ピアソンのカイ二乗検定と比べてどのように異なるか。
• RQ5 正規直交予測子の場合に、スパACING検定の棄却域が最適となる条件は何か。特に、有意水準αが0に近づく極限においては。

主な発見

• LARSのスパACING検定は不偏性が保証されることが証明された。パワーは代替分布にかかわらず、常に有意水準α以上である。
• 予測子が正規直交である場合、スパACING検定の棄却域は最適であり、与えられたαに対して最大のパワーを達成する。
• α → 0のとき、真の陽性（H₀を正しく棄却する）の確率はαよりもはるかに大きくなる。これは、弱い信号に対しても高い感度を持つことを示唆する。
• 2予測子ケースでは、パワー関数の詳細な解析的記述が得られ、相関構造および信号強度への明示的依存関係が明らかになった。
• ノイズ分散が未知の場合、提案されたt-スパACING検定は立方時間で計算可能であり、元のスパACING検定と同様に不偏性および高次元設定下での高いパワーといった望ましい性質を継承する。
• シミュレーションの結果、2次元モデルおよび全モデル設定ではピアソンのカイ二乗検定が一貫して優位であったが、支配的信号成分を有する極めてスパースなモデルでは、LARSのスパACING検定が顕著に優れた性能を示した。特に信号対雑音比が大きい場合に顕著であった。