[論文レビュー] Bias-Aware Inference in Regularized Regression Models

Timothy B. Armstrong, Michal Kolesár+1 more|arXiv (Cornell University)|Dec 29, 2020

Statistical Methods and Inference参考文献 38被引用数 5

ひとこと要約

本稿では、正則化回帰におけるバイアスに配慮した推論を提案し、制御変数の係数の大きさを罰則関数によって制約することで、最悪バイアスと分散の最適なバランスをとる推定量を可能にする。この手法は2段階手順である——まず罰則付き傾向スコア回帰を行い、次にその残差を道具変数として用いる単変量回帰を行う——ことで、誤差項がホモスケダスティックでガウス分布に従う有限標本において有効な信頼区間を生成する。また、不均等分散性や高次元漸近的設定（$k \gg n$）下でも漸近的に有効である。主な貢献は、有限標本においてほぼ最適な平均二乗誤差と信頼区間長を達成し、高次元設定下で新規の収束速度を示すことである。

ABSTRACT

We consider inference on a scalar regression coefficient under a constraint on the magnitude of the control coefficients. A class of estimators based on a regularized propensity score regression is shown to exactly solve a tradeoff between worst-case bias and variance. We derive confidence intervals (CIs) based on these estimators that are bias-aware: they account for the possible bias of the estimator. Under homoskedastic Gaussian errors, these estimators and CIs are near-optimal in finite samples for MSE and CI length. We also provide conditions for asymptotic validity of the CI with unknown and possibly heteroskedastic error distribution, and derive novel optimal rates of convergence under high-dimensional asymptotics that allow the number of regressors to increase more quickly than the number of observations. Extensive simulations and an empirical application illustrate the performance of our methods.

研究の動機と目的

• $k > n$ である高次元回帰モデルにおいて、従来のOLSが不安定または定義されないという課題に対処すること。
• スパarsity仮定が現実的でない、あるいは検証不可能な状況においても、正則化推定量の有限標本バイアスを考慮する手法を開発すること。
• 推定量の最悪バイアスを明示的に臨界値に組み込むことで、有限標本バイアスに対してロバストな信頼区間を構築すること。
• 制御変数の数$k$が標本サイズ$n$より速く増加する高次元漸近的設定下での最適収束速度を導出すること。
• 制御変数の重み付き平均処置効果として$\beta$を再解釈することで、異質的処置効果を許容するフレームワークを提供すること。

提案手法

• 罰則関数$\operatorname{Pen}(\gamma) \leq C$を用いて制御係数$\gamma$の大きさを制約し、スパarsity仮定の代わりに凸かつ対称な制約を導入する。
• 2段階推定量を提案：まず、$\operatorname{Pen}(\cdot)$を罰則として用いて、処置$w_i$を制御変数$z_i$に対して正則化された傾向スコア回帰を行う。次に、その残差を$Y_i$と$w_i$の単変量回帰における道具変数として用いる。
• 信頼区間の臨界値は、1段階目の正則化回帰から自動的に生じる推定量の最悪バイアスを組み込むように導出される。
• 不均等分散誤差の下では、不均等分散性にロバストな分散推定量を用いて信頼区間を構成し、漸近的有効性のための条件を提示する。
• 有限標本リスク最小化に基づき、平均二乗誤差または信頼区間長を最小化する最適な罰則重みを選択する。
• 制御係数の柔軟なモデリングが可能であり、$\ell_p$ノルムや非パラメトリック近似設定における微分に関する制約も含む。

実験結果

リサーチクエスチョン

• RQ1 制御変数の数$k$が標本サイズ$n$を上回る高次元回帰モデルにおいて、どのように推論を有効化できるか？
• RQ2 制御係数に大きさ制約を課した正則化回帰において、最悪バイアスと分散の最適なトレードオフは何か？
• RQ3 スパarsity仮定に依存せず、有限標本バイアスに対してロバストな信頼区間を構築できるか？
• RQ4 $k$が$n$より速く増加する際の推定および推論における最適収束速度は何か？
• RQ5 高次元制御変数が存在する状況で、異質的処置効果を許容するためにこの手法をどのように適合できるか？

主な発見

• 提案された推定量は、ホモスケダスティックでガウス誤差の有限標本において、ほぼ最適な平均二乗誤差を達成し、最適な罰則重みは解析的に導出される。
• ガウス的ホモスケダスティック仮定下では、有限標本において信頼区間が有効である。これは、最悪バイアスが臨界値に自動的に組み込まれるためである。
• 高次元漸近的設定（$k \gg n$）下では、$O_p\left(K_n^{1/2}(k_1/n + C_n \sqrt{\log k_2}/\sqrt{n})^{1/2}\right)$という、きわめて強いモーメントおよび尾部条件の下で最適な収束速度を達成する。
• 不均等分散誤差下では、$k_2 \log k_2 / n \to 0$および$(\log k_2)^{3/2}/\sqrt{n} \to 0$という条件下で、信頼区間の漸近的有効性が確立される。
• スパarsity仮定が満たされない有限標本では、標準的なダブルラasso法よりも本手法が優れている。これは、本手法がスパarsityに依存せず、$\|\gamma\|_p$の有界性に依存するためである。
• 罰則関数の多様な選択（$\ell_p$ノルムや非パラメトリック近似における微分制約など）により、制御係数の柔軟なモデリングが可能である。