[論文レビュー] Valid Post-selection Inference in Assumption-lean Linear Regression

Arun Kumar Kuchibhotla, Lawrence D. Brown+3 more|arXiv (Cornell University)|Jun 11, 2018

Statistical Methods and Inference参考文献 24被引用数 7

ひとこと要約

本稿では、任意のデータ駆動型変数選択のもとで線形回帰における有効な選択後推論を計算的に効率的に行う手法を提案する。決定的不等式を用いて、既存の手法よりも著しく小さい信頼領域を構築する。このアプローチは一般の条件下で有効であり、従属や非同一分布のデータに対しても成立し、固定共変量のもとで最適なサイズを達成する。

ABSTRACT

Construction of valid statistical inference for estimators based on data-driven selection has received a lot of attention in the recent times. Berk et al. (2013) is possibly the first work to provide valid inference for Gaussian homoscedastic linear regression with fixed covariates under arbitrary covariate/variable selection. The setting is unrealistic and is extended by Bachoc et al. (2016) by relaxing the distributional assumptions. A major drawback of the aforementioned works is that the construction of valid confidence regions is computationally intensive. In this paper, we first prove that post-selection inference is equivalent to simultaneous inference and then construct valid post-selection confidence regions which are computationally simple. Our construction is based on deterministic inequalities and apply to independent as well as dependent random variables without the requirement of correct distributional assumptions. Finally, we compare the volume of our confidence regions with the existing ones and show that under non-stochastic covariates, our regions are much smaller.

研究の動機と目的

• データ駆動型モデル選択後の有効な統計的推論を可能にすることで、科学における再現性の危機に対処する。
• モデル選択の意思決定がデータに依存する場合に失敗する古典的手法の限界を克服する（研究者による自由度の問題）。
• モデル不適合や強い分布仮定を必要としない条件下での有効な推論を提供する。
• 計算的に効率的で、従来の手法よりも体積が小さい信頼領域を構築する。特に固定共変量の下で顕著である。
• 従属や非同一分布のデータに対しても頑健な、選択後推論のフレームワークを確立する。

提案手法

• 選択後推論が同時推論と同等であることを証明し、信頼領域の統一的取り扱いを可能にする。
• 分布近似に依存せず、決定的不等式を用いて信頼領域を構築することで、正しいモデル仮定を必要としない有効性を保証する。
• 線形不等式のシステムによって信頼領域を定義し、局所的推論において線形計画法を用いて効率的な計算を可能にする。
• 通常最小二乗法（OLS）回帰の推定方程式フレームワークを用いて、モデル不適合に対して頑健な推論手順を導出する。
• 独立および従属の確率変数、非確率的（固定）共変量の両方の状況にこの手法を適用する。
• 設計行列の任意の線形変換に対して信頼領域が不変であることを示すが、これは計算効率と矛盾する可能性がある。

実験結果

リサーチクエスチョン

• RQ1 制限の強い分布仮定や計算的に高価な手法に依存せずに、有効な選択後信頼領域を構築できるか？
• RQ2 固定共変量の下で、選択後信頼領域の体積は従来の手法と比べてどの程度小さいか？
• RQ3 提案手法はモデル不適合やデータの依存性がある状況でも有効性を保つことができるか？
• RQ4 計算効率とアフィン不変性の間にはトレードオフがあるか？
• RQ5 このフレームワークはOLS線形回帰を超えた他のM推定量問題へ拡張可能か？

主な発見

• 提案手法の信頼領域は、Berkら（2013）およびBachocら（2016）の手法と比較して、特に固定共変量の下で顕著に体積が小さい。
• モデル不適合や従属データの下でも、漸近的に有効であり、信頼係数が少なくとも1−α以上を満たす。
• 固定共変量のもとで最適なサイズを達成しており、Remark 4.6で示されているが、有効性を損なわない。
• 決定的不等式に基づくため、i.i.d. または正規分布仮定を必要とせず、有効性が保証される。
• 線形計画法を用いて個々の回帰係数の局所的推論が可能であるが、その信頼領域は保守的になりがちである。
• このフレームワークは、選択後推論と高次元スパース誘導推定量との間の関係を明らかにし、他のM推定量問題への拡張の可能性を示唆している。