[論文レビュー] A projection pursuit framework for testing general high-dimensional hypothesis

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|May 2, 2017

Advanced Statistical Methods and Models参考文献 33被引用数 12

ひとこと要約

本稿は、変数の数が標本サイズをはるかに上回るような一般の高次元仮説を検定するための新規な射影プルーフrameworkを提案する。l1射影を帰無仮説空間へと定義することで、非凸的で複雑な高次元仮説—例えばスパarsityレベルの検定、最小信号強度、二次関数型の検定—に対しても、漸近的に正確な推論を可能にするとともに、有限標本における高い性能と検出力も維持する。

ABSTRACT

This article develops a framework for testing general hypothesis in high-dimensional models where the number of variables may far exceed the number of observations. Existing literature has considered less than a handful of hypotheses, such as testing individual coordinates of the model parameter. However, the problem of testing general and complex hypotheses remains widely open. We propose a new inference method developed around the hypothesis adaptive projection pursuit framework, which solves the testing problems in the most general case. The proposed inference is centered around a new class of estimators defined as $l_1$ projection of the initial guess of the unknown onto the space defined by the null. This projection automatically takes into account the structure of the null hypothesis and allows us to study formal inference for a number of long-standing problems. For example, we can directly conduct inference on the sparsity level of the model parameters and the minimum signal strength. This is especially significant given the fact that the former is a fundamental condition underlying most of the theoretical development in high-dimensional statistics, while the latter is a key condition used to establish variable selection properties. Moreover, the proposed method is asymptotically exact and has satisfactory power properties for testing very general functionals of the high-dimensional parameters. The simulation studies lend further support to our theoretical claims and additionally show excellent finite-sample size and power properties of the proposed test.

研究の動機と目的

• 個々のパラメータの検定を超えた一般の非凸的・複雑な仮説に対する高次元推論における重要なギャップを埋めること。
• 帰無仮説集合の幾何的構造に依存しない、一貫した漸近的正確な推論フレームワークを構築すること。
• スパarsityレベルや最小信号強度（beta-min条件）といった、高次元モデルにおいて一般的に仮定されながらも検証されていない基本的条件に対する形式的検定を可能にすること。
• 高次元モデルにおける広範な関数型クラスに対して、良好な検出力とサイズ制御を実現する、頑健で非漸近的な検定を提供すること。

提案手法

• 初期推定量を帰無仮説が定める空間にl1射影する、仮説に適応した射影プルーフrameworkを提案する。
• 初期推定値を帰無仮説集合にl1正則化射影することで、新たな推定量のクラスを定義し、これにより帰無仮説の構造が自動的に組み込まれる。
• 推定と検定を分離するための二標本分割手順を用いることで、検定の安定性と妥当性を向上させる。
• ブートストラップに基づくアプローチを用いて、検定統計量の標本分布を近似し、正確なp値の計算を可能にする。
• 反濃度不等式と部分指数的尾部バウンドを用いて、帰無仮説下での検定統計量の集中を制御する。
• 高次元漸近理論を用いて理論的保証を導出し、収束速度や複雑な帰無仮説集合全体にわたる一様性を含む。

実験結果

リサーチクエスチョン

• RQ1 個々の座標や凸集合に限定されない、一般の高次元仮説に対して、漸近的に正確な検定を構築することは可能か？
• RQ2 スパarsityレベル ∥β∗∥0 ≤ c の正式な検定は可能か？これは高次元統計の大多数の理論的結果の根幹をなす条件である。
• RQ3 変数選択の一貫性に不可欠なが、検証が難しいとされるbeta-min条件 minj∈S0 |β∗,j| ≥ c に対する有効な検定は開発可能か？
• RQ4 信号対雑音比などのパラメータベクトルの二次形式といった一般関数型を、高次元モデルでどのように検定できるか？
• RQ5 提案手法の有限標本性能—サイズと検出力の両面—は、多様な高次元設定においてどのように評価されるか？

主な発見

• 提案手法は、非凸的で複雑な集合を含む広範な高次元帰無仮説に対して、漸近的に正確であることが確認された。
• 広範なシミュレーションスタディを通じて、有限標本におけるサイズと検出力の両方が優れた性能を示した。
• 従来、高次元では検証不可能であったスパarsityレベル ∥β∗∥0 ≤ c に対する形式的推論が可能になった。
• beta-min条件 minj∈S0 |β∗,j| ≥ c に対する、初めての漸近的に正確な検定が実現された。これは変数選択の一貫性にとって極めて重要である。
• l1射影推定量は帰無仮説下で最適な収束速度を達成し、∥ˆβd − β∗∥1 ≤ 2∥ˆβu − β∗∥1 を満たすため、頑健性が保証された。
• 理論的分析により、検定統計量の分布がブートストラップによってよく近似され、高次元パrameter空間全体にわたる一様制御が確認された。