[論文レビュー] Group-bound: confidence intervals for groups of variables in sparse high-dimensional regression without assumptions on the design

Nicolai Meinshausen|arXiv (Cornell University)|Sep 13, 2013

Optimal Experimental Design Methods参考文献 23被引用数 5

ひとこと要約

この論文は、設計行列に関する仮定を必要とせず、高次元スパース回帰における変数群の有効な信頼区間を構築するための Group-bound という手法を紹介する。線形計画法を用いて変数群の効果の下限を導出し、個々の変数が有意でないように見えても、相関の高い予測子群の共同効果を検出可能にする。これは個別推論に必要な条件よりも弱い条件下で実現可能である。

ABSTRACT

It is in general challenging to provide confidence intervals for individual variables in high-dimensional regression without making strict or unverifiable assumptions on the design matrix. We show here that a "group-bound" confidence interval can be derived without making any assumptions on the design matrix. The lower bound for the regression coefficient of individual variables can be derived via linear programming. The idea also generalises naturally to groups of variables, where we can derive a one-sided confidence interval for the joint effect of a group. While the confidence intervals of individual variables are by the nature of the problem often very wide, it is shown to be possible to detect the contribution of groups of highly correlated predictor variables even when no variable individually shows a significant effect. The assumptions necessary to detect the effect of groups of variables are shown to be weaker than the weakest known assumptions to detect the effect of individual variables.

研究の動機と目的

• 高次元回帰における個々の変数の信頼区間を、最小限の仮定のもとで構築すること。
• 個々の変数が有意でない場合でも、相関の高い予測子群の共同効果を検出できる手法を開発すること。
• 相関性や表現可能性といった制限的な設計条件に依存せずに、グループ効果に対する有効な推論を提供すること。
• フレームワークを拡張し、グループ係数のノルムに対する片側信頼区間および仮説検定を可能にすること。
• スパース高次元モデルにおいて、グループレベルの推論が個別レベルの推論よりも弱い仮定で成立することを示すこと。

提案手法

• グループ係数ノルムの下限を求めるために線形計画法を解くことで、グループ効果の片側信頼区間を構築する。
• 真のスパース解における ℓ₁-ノルムの劣勾配を用いて、推定誤差とグループ効果を結びつける双対制約を定義する。
• プライマル・デュアル解析に依存し、デュアル変数が設計行列と適合性条件を満たすように制約を課す。
• 推定誤差がしきい値を超える確率を制限する濃縮不等式を用いて信頼区間を導出する。
• 任意の設計行列、特に予測子間に高い相関がある場合にも有効であるように設計されている。
• グループ係数の ℓ_q ノルムへの一般化が可能であり、q=1 の場合には線形計画法による明示的解が得られる。

実験結果

リサーチクエスチョン

• RQ1 設計行列に関する仮定なしに、高次元回帰における変数群の有効な信頼区間を構築できるか？
• RQ2 個々の変数が有意でなくても、相関の高い予測子群の共同効果を検出できるか？
• RQ3 グループ効果を検出するために必要な仮定は、個々の変数効果を検出するための仮定と比べてどのように異なるか？
• RQ4 制限的な設計仮定を最小限に抑え、グループ係数の ℓ₁-ノルムに対する片側信頼区間を提供できるか？
• RQ5 標準的な適合性条件を満たさない設計行列を含む、すべての可能な設計行列において、誤差制御が保持されるか？

主な発見

• 設計行列に関するいかなる仮定も必要とせず、グループ効果の有効な片側信頼区間を提供するため、普遍的に適用可能である。
• Group-bound は、個々の変数が有意でない場合でも、高い相関によりグループ全体の寄与を検出可能である。
• グループ効果を検出するために必要な仮定は、個別変数効果を検出するための仮定よりも弱く、統計的な利点を提供する。
• グループ係数ノルムの下限は線形計画法により導出され、計算上の実行可能性が保証される。
• ややいなめの正則性条件のもとで、被覆確率が少なくとも 1−γ 以上となることが保証され、誤差確率の明示的バウンドが得られる。
• 階層的単調性の性質により、帰無仮説のもとでグループが棄却された場合、そのすべての部分群も同様に棄却され、論理的一致性が保たれる。