[論文レビュー] Breaking the curse of dimensionality in regression

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference参考文献 41被引用数 8

ひとこと要約

本稿では、特徴量間の強度を借用することで次元の呪いを克服する新しいモーメントマッチング手法であるGRoup-level Inference of Parameter（GRIP）検定を提案する。GRIPは一般のスパarsity構造（混合スパースおよび密集信号を含む）において有効な多重仮説検定を可能にし、既存手法と比較して最小最大最適性を示し、誤差制御において優れた性能を発揮する。

ABSTRACT

Models with many signals, high-dimensional models, often impose structures on the signal strengths. The common assumption is that only a few signals are strong and most of the signals are zero or close (collectively) to zero. However, such a requirement might not be valid in many real-life applications. In this article, we are interested in conducting large-scale inference in models that might have signals of mixed strengths. The key challenge is that the signals that are not under testing might be collectively non-negligible (although individually small) and cannot be accurately learned. This article develops a new class of tests that arise from a moment matching formulation. A virtue of these moment-matching statistics is their ability to borrow strength across features, adapt to the sparsity size and exert adjustment for testing growing number of hypothesis. GRoup-level Inference of Parameter, GRIP, test harvests effective sparsity structures with hypothesis formulation for an efficient multiple testing procedure. Simulated data showcase that GRIPs error control is far better than the alternative methods. We develop a minimax theory, demonstrating optimality of GRIP for a broad range of models, including those where the model is a mixture of a sparse and high-dimensional dense signals.

研究の動機と目的

• スパースおよび密集成分を含む混合信号強度を持つ高次元モデルに対して頑健な多重仮説検定手順の開発。
• 現行手法が厳密なスパarsity仮定に依存するという限界を克服し、脳結合性や遺伝子セット解析のような実世界の応用でしばしば失敗する状況に対応する。
• p ≫ n であり、検定対象の信号数が増加する高次元線形モデルにおけるグループまたは多変量検定の有効な推論を提供する。
• 混合スパース・密集信号構造を含む広範なモデルクラスにおいて、提案手法の最小最大最適性を確立する。
• スパースでない帰無仮説（例えば、密集信号のパラメトリック変換におけるもの）を含むモデルにおけるパラメータの信頼区間および仮説検定を可能にする。

提案手法

• 特徴量間で強度を借用するテスト統計量を構築するためのモーメントマッチング定式化を提案し、検出力と頑健性を向上させる。
• 未知のスパarsityサイズに適応し、増加する仮説数に対応するグループレベルの推論手順としてGRIP検定を導入する。
• 帰無仮説下でのテスト統計量に対して条件付きガウス近似を用い、弱いモーメント条件のもとでテスト統計量の漸近正規性を活用する。
• デバイアス化戦略を採用して高次元パラメータベクトルを推定し、信号が弱いか、集団的に密集している場合でも一貫した推定を実現する。
• 高次元設定下での家族誤差率を制御するために、従属する確率的ベクトルの最大値に関する一様中心極限定理を適用する。
• ガウス過程の最大値の分位数に基づいて臨界値を導出するが、この値はサブガウスおよびサブエキポネンシャルノルムの境界を用いて調整される。

実験結果

リサーチクエスチョン

• RQ1 信号が厳密にスパースでない場合でも、高次元回帰において有効な誤差制御を維持できる多重仮説検定手順を開発できるか？
• RQ2 帰無仮説が非スパースパラメータを含む場合（例えば、密集信号のパラメトリック変換の場合）、どのように推論を頑健化できるか？
• RQ3 混合スパースおよび密集信号を含むモデルにおけるテスト誤差の最適レートは何か？ そして、実用的手法によって達成可能か？
• RQ4 未知のスパarsityサイズに適応し、テスト対象パラメータ数の増加に対しても有効なテストを構築できるか？
• RQ5 提案手法は、ハイブリッド信号構造を含む広範な高次元モデルクラスにおいて最小最大最適性を示すか？

主な発見

• GRIPは、混合スパースおよび密集信号を含む広範な高次元モデルクラスにおいて最小最大最適誤差率を達成する。
• シミュレーションでは、特に密集またはハイブリッド信号領域において、代替手法と比較して著しく優れた誤差制御性能を示す。
• 帰無仮説がスパースでない場合（例：β₀がnまたはそれ以上のオーダーの非ゼロ成分を有する場合）でも、タイプIエラーの制御が有効に維持される。
• 理論的分析により、テスト統計量の漸近的分布がガウス過程によってよく近似されることを確認し、正確な臨界値のキャリブレーションが可能である。
• GRIP検定は未知のスパarsityサイズに適応し、増加する仮説数に対応するため、厳密なスパarsityを要件とする手法を上回る性能を発揮する。
• テスト統計量の最大値に関する理論的境界により、弱いモーメント条件のもとで確率的にゼロに収束することが示され、漸近的有効性が保証される。