[論文レビュー] Models as Approximations --- Part II: A General Theory of Model-Robust Regression

Andreas Buja, Richard A. Berk+4 more|arXiv (Cornell University)|Dec 10, 2016

Statistical Methods and Inference被引用数 9

ひとこと要約

この論文は、パrametricモデルの代わりに非パラメトリックな連合分布のクラス上で定義された統計的関数型—推定量—を用いる、モデルフリーな回帰フレームワークを開発する。関数型の適切な仕様化の概念、再重み付けを用いた診断ツール、およびサンプリング変動を2つの$N^{-1/2}$順の成分に分解する。また、$\boldsymbol{xy}$ブートストラップ標準誤差が一般にスイッチェット推定量よりもより安定していることを示す。

ABSTRACT

We develop a model-free theory of general types of parametric for iid observations. The theory replaces the parameters of parametric models with statistical functionals, to be called regression functionals'', defined on large non-parametric classes of joint $\xy$ distributions, without assuming a correct model. Parametric models are reduced to heuristics to suggest plausible objective functions. An example of a functional is the vector of slopes of linear equations fitted by OLS to largely arbitrary $\xy$ distributions, without assuming a linear model (see Part~I). More generally, functionals can be defined by minimizing objective functions or solving estimating equations at joint $\xy$ distributions. In this framework it is possible to achieve the following: (1)~define a notion of well-specification for functionals that replaces the notion of correct specification of models, (2)~propose a well-specification diagnostic for functionals based on reweighting distributions and data, (3)~decompose sampling variability of functionals into two sources, one due to the conditional response distribution and another due to the regressor distribution interacting with misspecification, both of order $N^{-1/2}$, (4)~exhibit plug-in/sandwich estimators of standard error as limit cases of $\xy$ bootstrap estimators, and (5)~provide theoretical heuristics to indicate that $\xy$ bootstrap standard errors may generally be more stable than sandwich estimators.

研究の動機と目的

• 従来のパラメトリックモデルを、非パラメトリックな連合$\boldsymbol{xy}$分布のクラス上で定義された統計的関数型に置き換えること。
• 真のパラメトリックモデルを仮定しないで、モデルの正しさを一般化する関数型の適切な仕様化の概念を構築すること。
• 観測データおよび分布の再重み付けに基づく、関数型の適切な仕様化の診断を提供すること。
• 関数型のサンプリング変動を、応答分布の条件付き分布に起因するものと、回帰変数分布およびモデル不適合に起因するものという2つの明確に区別できる$N^{-1/2}$順の成分に分解すること。
• プラグイン推定量およびスイッチェット推定量が、$\boldsymbol{xy}$ブートストラップ推定量の極限ケースであることを示し、$\boldsymbol{xy}$ブートストラップ標準誤差のより高い安定性を主張すること。

提案手法

• 任意の連合$\boldsymbol{xy}$分布上で、正しいパラメトリックモデルを仮定せずに、推定方程式の解または目的関数の最小化子として回帰関数型を定義する。
• 推定された条件付き密度を用いて連合分布を再重み付けしても関数型が不変であるかどうかに基づく、関数型の適切な仕様化条件を導入する。
• 関数型の漸近的分散を2つの成分に分解する：1つは応答の条件付き分布に起因し、もう1つは回帰変数分布とモデル不適合の相互作用に起因する。
• $\boldsymbol{xy}$ブートストラップによる標準誤差推定量を構築し、それが極限においてプラグイン推定量およびスイッチェット推定量に収束することを示す。
• 再重み付け技術を用いて、再重み付けされた経験的分布と真の分布の間で関数型の値を比較することで、関数型の適切な仕様化を評価する。
• 高次行動に基づく理論的ヒューリスティクスと分散安定化の観点から、$\boldsymbol{xy}$ブートストラップ標準誤差がスイッチェット推定量よりも一般により安定していることを示す。

実験結果

リサーチクエスチョン

• RQ1 真のパラメトリックモデルを仮定しないで、回帰関数型のモデルロバスト性をどのように定義できるか？
• RQ2 潜在的なモデル不適合下で、関数型が適切に仕様化されているかどうかを評価するための診断ツールとして何が利用可能か？
• RQ3 関数型のサンプリング変動を、応答分布および回帰変数分布に関連する明確に区別できる要因にどのように分解できるか？
• RQ4 $\boldsymbol{xy}$ブートストラップ標準誤差がスイッチェット推定量よりもより安定しているという意味は何か？その理論的根拠は何か？
• RQ5 プラグイン推定量およびスイッチェット推定量の標準誤差は、$\boldsymbol{xy}$ブートストラップ推定量の極限としてどのように関連しているか？

主な発見

• 真のパラメトリックモデルを仮定しないで、再重み付けにおける不変性に基づく関数型の適切な仕様化条件にモデルの正しさを置き換えることで、ロバストな推論が可能になる。
• 関数型のサンプリング変動は、$N^{-1/2}$順の2つの成分に分解される：1つは応答の条件付き分布に起因し、もう1つは回帰変数分布とモデル不適合の相互作用に起因する。
• プラグイン推定量およびスイッチェット推定量が、$\boldsymbol{xy}$ブートストラップ推定量の極限ケースとして現れることを示し、これらの手法間の理論的つながりを確立する。
• 理論的ヒューリスティクスにより、有限標本におけるより良い分散安定化の観点から、$\boldsymbol{xy}$ブートストラップ標準誤差が一般にスイッチェット推定量よりもより安定していると示唆される。
• 関数型のアプローチにより、元のデータ生成過程が線形でない場合でも、OLS風の推定量を定義・分析することが可能になり、回帰推論の適用範囲が拡張される。
• 再重み付けに基づく診断は、有限標本におけるモデル不適合に対する関数型のロバスト性を評価する実用的な手法を提供する。