[論文レビュー] Valid Post-Selection Inference in High-Dimensional Approximately Sparse Quantile Regression Models

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Dec 27, 2013

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、近似的にスパースな高次元分位数回帰モデルに対して、モデル選択誤差に対してロバストであるよう、直交スコア関数を用いた妥当な事後モデル選択推論手法を提案する。回帰係数の均一漸近正規性と有効な信頼領域を、サンプルサイズを上回る説明変数個数のもとでも確立しており、β-min条件を要しない。

ABSTRACT

This work proposes new inference methods for a regression coefficient of interest in a (heterogeneous) quantile regression model. We consider a high-dimensional model where the number of regressors potentially exceeds the sample size but a subset of them suffice to construct a reasonable approximation to the conditional quantile function. The proposed methods are (explicitly or implicitly) based on orthogonal score functions that protect against moderate model selection mistakes, which are often inevitable in the approximately sparse model considered in the present paper. We establish the uniform validity of the proposed confidence regions for the quantile regression coefficient. Importantly, these methods directly apply to more than one variable and a continuum of quantile indices. In addition, the performance of the proposed methods is illustrated through Monte-Carlo experiments and an empirical example, dealing with risk factors in childhood malnutrition.

研究の動機と目的

• p ≫ n である高次元分位数回帰モデルにおける回帰係数の推論手法の開発を目的とする。
• 高次元設定において一般的に生じるモデル選択誤差に対しても信頼領域の有効性を保証することを目的とする。
• 多変量処置および分位数インデックスの連続的集合への推論を拡張することを目的とする。
• 直交スコア関数を活用することで、β-min条件の必要性を排除することを目的とする。
• 弱い正則性およびスパarsity仮定のもとで一様に有効な信頼領域を提供することを目的とする。

提案手法

• 共変動関数 gτ の一次推定誤差に対してロバストである直交スコア関数を用いる。
• ℓ1正則化付き分位数回帰と事後推定を用いて初期モデルの適合を実施する。
• 不均一分散の事後ラッソを密度加重付き方程式に適用し、共変動要因を部分的に除去する。
• 2つの推定量を構築する：1つはNeyman型スコア統計量を介して、もう1つは選択された変数に対する密度加重付き分位数回帰を介して。
• 推定量のピボタル線形表現を実装し、有効な推論を可能にする。
• Neyman型スコア統計量の漸近的カイ二乗分布（自由度1）を用いて信頼帯を構築する。

実験結果

リサーチクエスチョン

• RQ1 高次元的かつ近似的にスパースなモデルにおけるモデル選択後の分位数回帰係数に対して、有効な信頼領域を構築できるか？
• RQ2 高次元設定においてモデル選択誤差が避けられない状況でも、推論が有効に保たれるか？
• RQ3 提案手法は多変量処置および分位数インデックスの連続的集合を処理できるか？
• RQ4 推論手順は共変動関数 gτ の非正則な推定に対してロバストか？
• RQ5 漸近的有効性のためのβ-min条件を回避できるか？

主な発見

• 提案された推定量は√n一致であり、漸近的に正規分布に従い、ピボタル線形表現を持つ。
• 推定標準誤差に基づく信頼領域は、やや弱いモーメントおよびスパarsity条件のもとで、漸近的有意水準 1−ξ を達成する。
• Neyman型スコア統計量は帰無仮説のもとで漸近的に自由度1のカイ二乗分布に従い、有効な信頼帯の構築が可能である。
• アレイ漸近的枠組みのもとで、広範なデータ生成過程のクラスにおいて一様有効性を達成する。
• 回帰係数がゼロから分離されている必要がない（β-min条件を要しない）にもかかわらず、信頼領域は有効である。
• モンテカルロ実験および児童の栄養不良リスク要因への実応用により、有限標本における性能が確認された。