[論文レビュー] A Model Free Perspective for Linear Regression: Uniform-in-model Bounds for Post Selection Inference

Arun Kumar Kuchibhotla, Lawrence D. Brown+3 more|arXiv (Cornell University)|Feb 15, 2018

Statistical Methods and Inference参考文献 1被引用数 15

ひとこと要約

この論文は、分布的仮定を一切用いず、決定論的不等式を用いて、モデル選択後の線形回帰推定量のモデルに一様な境界を導出する。非漸近的でモデルフリーの誤差および表現の境界を提供し、多数の変数サブセットにわたって有効であり、独立および従属のデータの両方に対して有効な後モデル選択推論を可能にする。

ABSTRACT

For the last two decades, high-dimensional data and methods have proliferated throughout the literature. The classical technique of linear regression, however, has not lost its touch in applications. Most high-dimensional estimation techniques can be seen as variable selection tools which lead to a smaller set of variables where classical linear regression technique applies. In this paper, we prove estimation error and linear representation bounds for the linear regression estimator uniformly over (many) subsets of variables. Based on deterministic inequalities, our results provide good rates when applied to both independent and dependent data. These results are useful in correctly interpreting the linear regression estimator obtained after exploring the data and also in post model-selection inference. All the results are derived under no model assumptions and are non-asymptotic in nature.

研究の動機と目的

• 高次元線形回帰におけるモデル選択後推論の課題に、モデル仮定に依存せずに取り組むこと。
• 多数の変数サブセットにわたって一様な非漸近的誤差および表現の境界を導出すること。
• 予測変数が従属であっても、データに依存する変数選択の後で信頼性のある推論を可能にすること。
• パラメトリックまたは漸近的仮定を必要とせず、探索的データ解析後の線形回帰推定量の解釈フレームワークを提供すること。

提案手法

• 変数サブセット全体にわたって推定誤差および線形表現の境界を一様に導出するため、決定論的不等式を用いる。
• 非漸近的解析を適用し、標本サイズにかかわらず有効性を保証する。
• 誤差や設計行列の分布的仮定を一切必要としない、モデルフリーの境界を導出する。
• 変数サブセットに対する一様な制御を通じて、独立および従属のデータ構造の両方を扱う。
• 任意のデータ駆動型モデル選択手順の後でも有効な境界を構築する。
• 広範なモデルクラスにおける一様収束の議論に依存し、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 特定のモデルを仮定せずに、モデル選択後の線形回帰推定量に対する一様で非漸近的な境界をどのように得られるか？
• RQ2 モデルがデータに基づいて選択された場合、回帰推定量の誤差および表現の境界は何か？ そして、それらはどのように多数のサブセットにわたって一様に成り立つか？
• RQ3 誤差や設計行列に分布的仮定を置かずに、有効な後モデル選択推論を達成できるか？
• RQ4 予測変数や誤差に依存性がある場合、境界はどのように振る舞うか？
• RQ5 最小限の仮定の下で、後モデル選択設定における推定誤差の収束速度は何か？

主な発見

• 本論文は、多数の変数サブセットにわたって一様な非漸近的・モデルフリーの推定誤差および線形表現の境界を確立した。
• 独立および従属のデータの両方に対して有効であり、広く適用可能である。
• すべての結果が確率的または漸近的近似に依存せず、決定論的不等式から導出された。
• 誤差や設計行列の分布的仮定を必要とせず、正しい後モデル選択推論を可能にする。
• 実用的に役立つほどきつい境界であり、データ探索後の回帰推定量の解釈に有効である。
• データ駆動型変数選択手順を経た後でも、信頼性のある推論を可能にする。