[論文レビュー] Assumption-free confidence intervals for groups of variables in sparse high-dimensional regression

Nicolai Meinshausen|arXiv (Cornell University)|Sep 13, 2013

Optimal Experimental Design Methods被引用数 7

ひとこと要約

本稿は、設計行列に制限的な仮定を必要としない線形計画法を用いて回帰係数の下限を導出することで、高次元スパース回帰における変数群の仮定フリー信頼区間を提案する。これは、個々の変数が有意でないように見えても、個々の変数の推論に必要な条件よりも弱い条件下で、群の効果を検出可能であることを示している。

ABSTRACT

It is in general challenging to provide confidence intervals for individual variables in high-dimensional regression without making strict or unverifiable assumptions on the design matrix. We show here that a group-bound confidence interval can be derived without making any assumptions on the design matrix. The lower bound for the regression coefficient of individual variables can be derived via linear programming. The idea also generalises naturally to groups of variables, where we can derive a one-sided confidence interval for the joint effect of a group. While the confidence intervals of individual variables are by the nature of the problem often very wide, it is shown to be possible to detect the contribution of groups of highly correlated predictor variables even when no variable individually shows a significant effect. The assumptions necessary to detect the effect of groups of variables are shown to be weaker than the weakest known assumptions to detect the effect of individual variables.

研究の動機と目的

• 設計行列に関する強い仮定を必要としない、高次元回帰係数の有効な信頼区間を構築する課題に対処すること。
• 設計行列の依存関係に対してロバストな、変数群の信頼区間を導出するための手法を開発すること。
• 個々の変数が有意でない場合でも、群の効果が検出可能である条件を示すこと。個々の変数の推論に必要な条件よりも弱い条件で成立することを示すこと。
• 線形計画法を用いて群回帰係数の下限を計算する、計算上で実行可能なアプローチを提供すること。

提案手法

• 設計行列に関する仮定なしに回帰係数の下限を計算するため、線形計画法を用いる。
• 制約付き最適化問題として定式化することで、変数群の片側信頼区間を導出する。
• 高相関の予測子群を扱えるようにアプローチを一般化し、個々の寄与ではなく、共同効果に焦点を当てる。
• 回帰モデルのスパarsityに依存することで、計算の実行可能性と統計的妥当性を保証する。
• 最小限の正則性条件のもとで有効な境界を導出するため、双対定式化を用いる。

実験結果

リサーチクエスチョン

• RQ1 設計行列の特定の性質を仮定せずに、変数群の信頼区間を構築できるか？
• RQ2 個々の変数が有意でない場合、どのような条件下で群の効果を検出可能か？
• RQ3 群の効果を検出するために必要な仮定は、個々の変数の検出に必要な仮定と比べてどう異なるか？
• RQ4 線形計画法を用いて、群回帰係数の有効な下限を効果的に導出できるか？

主な発見

• 提案手法は設計行列に関するいかなる仮定も必要とせず、信頼区間を有効に構築できることを保証し、ロバスト性を確保する。
• 群の境界を伴う信頼区間が、個々の変数が有意でないように見えても、共同効果を検出するのに有効であることが示された。
• 群の効果を検出するために必要な仮定は、個々の変数の効果を検出するのに必要な最弱の仮定よりも弱い。
• スパarsityと線形計画法を活用することで、計算的に実行可能かつ統計的に妥当な推論を実現した。