[論文レビュー] Rate optimal multiple testing procedure in high-dimensional regression

Pengsheng Ji, Zhigen Zhao|arXiv (Cornell University)|Apr 10, 2014

Statistical Methods and Inference参考文献 23被引用数 12

ひとこと要約

本稿は、希少かつ弱い信号を伴う高次元線形回帰において、変数選択の一貫性が達成できない状況に対して、Univariate Penalization Testing (UPT) 法を提案する。UPT は、重み付きハミング損失を用いた複数検定に UPS フレームワークを適応させることで、漸近的にマージナル誤発見率（mFDR）を制御し、マージナル誤未発見率（mFNR）の最適収束速度を達成する。これは、スパースで弱い信号の下で、BH や BY 手順よりもパワーと誤差制御の両面で優れている。

ABSTRACT

In the high dimensional regression analysis when the number of predictors is much larger than the sample size, an important question is to select the important variable which are relevant to the response variable of interest. Variable selection and the multiple testing are both tools to address this issue. However, there is little discussion on the connection of these two areas. When the signal strength is strong enough such that the selection consistency is achievable, it seems to be unnecessary to control the false discovery rate. In this paper, we consider the regime where the signals are both rare and weak such that the selection consistency is not achievable and propose a method which controls the false discovery rate asymptotically. It is theoretically shown that the false non-discovery rate of the proposed method converges to zero at the optimal rate. Numerical results are provided to demonstrate the advantage of the proposed method.

研究の動機と目的

• 希少かつ弱い信号を伴う高次元回帰における複数検定において、最適性理論の欠如を解消すること。ここでは、変数選択の一貫性が成立しない。
• 弱い信号条件下で、マージナル誤発見率（mFDR）を制御しつつ、マージナル誤未発見率（mFNR）を最小化する手法を開発すること。
• タイプ I およびタイプ II の誤りを不均等に扱う重み付きハミング損失を定式化することで、変数選択と複数検定のギャップを埋めること。
• mFDR 制御下での mFNR 収束速度に対する理論的下界を確立し、UPT がこの最適速度を達成することを証明すること。
• 多様な設計において、BH や BY、UPT* と比較して、UPT がパワーと誤差率制御の両面で優れた経験的性能を示すことを実証すること。

提案手法

• 重み付きハミング損失関数を用いて、誤発見と誤未発見を異なる方法でペナルティを与えることで、複数検定に Univariate Penalization Screening (UPS) 法を適応する。
• t 統計量を用いて、タイプ I およびタイプ II の誤りのトレードオフをバランスさせるデータ駆動型の重み推定手順を導入する。
• 検定意思決定を重み付きハミング誤差の最小化問題として定式化し、検定統計量と推定重みに基づくしきい値ルールを導出する。
• UPT 手順が、希少／弱いモデル下で、漸近的に mFDR を水準 α で制御し、mFNR の最適収束速度を達成することを証明する。
• 非漸近的解析フレームワークを用いて、有限標本における性能バウンドを導出し、非正規設計下でもロバストネスを検証する。
• 2段階推定を実装する：まずパイLOT段階で重みを推定し、その後しきい値ルールを適用して有意な予測変数を選択する。

実験結果

リサーチクエスチョン

• RQ1 希少かつ弱い信号を伴う高次元回帰において、固定されたマージナル誤発見率（mFDR）制約下で、マージナル誤未発見率（mFNR）の最適到達可能な収束速度は何か？
• RQ2 mFDR 制御を維持しつつ、この最適 mFNR 速度を達成する複数検定手順を構築できるか？
• RQ3 スパースで弱い信号の下で、BH や BY と比較して、提案手法はパワーと誤差率制御の両面で優れているか？
• RQ4 特に設計行列が重い尾を持つ、または正規でない場合、この手法はロバストであるか？
• RQ5 非漸近的フレームワーク下で、この手法の理論的最適性を確立できるか？また、そのために必要な技術的条件は何か？

主な発見

• UPT 手順は、すべてのシミュレーション設定（非正規設計を含む）で、名目水準 α でのマージナル誤発見率（mFDR）を制御するが、BH や BY はこの制御を維持できない。
• 非正規設計を伴う実験4では、τp=8 のとき、UPT の平均真正陽性（atp）は 37.15 に達し、BH の 31.48 よりも 5.67 増加し、パワーが向上した。
• UPT* と BH の mFDR を一致させた場合、τp=8 で UPT* は 47.24 の真正陽性を達成したのに対し、BH は 31.48 にとどまり、信号発見の面で 15.76 の優位性を示した。
• UPT 手順は、理論的下界と一致する mFNR 収束速度を達成しており、これは希少／弱い信号下でレート最適であることを証明する。
• すべての実験で、UPT は mFDR を制御し、中央値 mFDR が 0.06–0.07 にとどまった。これは BH の 0.10–0.20 よりも顕著に低く、特に弱い信号下で顕著であった。
• 実験4で示されたように、UPT は非正規設計に対してもロバストである。設計行列が一様分布から抽出されても、依然として優れた性能を維持した。