[論文レビュー] Models as Approximations II: A Model-Free Theory of Parametric Regression

Andreas Buja, Lawrence Brown+4 more|arXiv (Cornell University)|Dec 10, 2016

Statistical Methods and Inference参考文献 25被引用数 6

ひとこと要約

この論文は、正しいモデルを仮定せずに、回帰パラメータを任意の連合分布から導かれる統計的関数型として再定義することで、パラメトリック回帰のモデルフリー理論を構築する。『適切な仕様』という新しい概念を、回帰変数の分布に変化がなくても不変であることに基づいて導入し、再重み付けによる診断手法を提供する。また、標本変動性が2つのN⁻¹ᐟ²成分に分解されることを示し、一方は条件付き応答分布に起因し、もう一方は回帰変数分布と不適合の相互作用に起因する。このフレームワークは、x-yブートストラップまたはサンドイッチ推定量を用いたロバスト推論を可能とし、ブートストラップの安定性が優れている証拠がある。

ABSTRACT

We develop a model-free theory of general types of parametric regression for iid observations. The theory replaces the parameters of parametric models with statistical functionals, to be called "regression functionals'', defined on large non-parametric classes of joint $\xy$ distributions, without assuming a correct model. Parametric models are reduced to heuristics to suggest plausible objective functions. An example of a regression functional is the vector of slopes of linear equations fitted by OLS to largely arbitrary $\xy$ distributions, without assuming a linear model (see Part~I). More generally, regression functionals can be defined by minimizing objective functions or solving estimating equations at joint $\xy$ distributions. In this framework it is possible to achieve the following: (1)~define a notion of well-specification for regression functionals that replaces the notion of correct specification of models, (2)~propose a well-specification diagnostic for regression functionals based on reweighting distributions and data, (3)~decompose sampling variability of regression functionals into two sources, one due to the conditional response distribution and another due to the regressor distribution interacting with misspecification, both of order $N^{-1/2}$, (4)~exhibit plug-in/sandwich estimators of standard error as limit cases of $\xy$ bootstrap estimators, and (5)~provide theoretical heuristics to indicate that $\xy$ bootstrap standard errors may generally be more stable than sandwich estimators.

研究の動機と目的

• 従来のモデルの正しさという概念を、モデル仮定に依存しない新しい『適切な仕様』という回帰関数型の概念に置き換えること。
• 回帰変数の分布を再重み付けすることで不適合を検出する診断ツールを、定量的・定性的な変数の両方に対して適用可能な形で開発すること。
• 回帰関数型の標本変動性を2つの明確に区別できる要因に分解すること：1つは応答分布の条件付き分布に起因し、もう1つは回帰変数分布と不適合の相互作用に起因する。両者ともN⁻¹ᐟ²の速度で変動する。
• x-yブートストラップの標準誤差がプラグイン／サンドイッチ推定量の極限ケースであることを示し、理論的基盤を提供することでロバスト推論を確立すること。
• モデルを真実ではなく近似とみなす一般化されたパラメトリック回帰の枠組みを提供し、関数的解釈に基づく局所的モデリングを可能とすること。

提案手法

• 任意の連合分布(x-y)から関数型を定義し、目的関数の最小化または推定方程式の解法によって得られる数値への写像として回帰関数型を定義する。
• 『適切な仕様』を、回帰変数の周辺分布の変化に対して不変であるという性質として導入し、これは条件付き応答分布そのものに依存する性質であることを示す。
• 回帰変数の分布をずらさずに変更することで不適合を検出する再重み付けに基づく診断法を提案し、関数型が回帰変数分布に依存するかどうかを評価できるようにする。
• 回帰関数型の漸近的標本変動性を2つのN⁻¹ᐟ²成分に分解する：1つは条件付き応答分布に起因し、もう1つは回帰変数分布とモデル不適合の相互作用に起因する。
• x-yブートストラップ推定量の極限としてプラグイン／サンドイッチ推定量の標準誤差を導出し、リサンプリング手法と古典的推論の理論的関連性を確立する。
• 理論的に、x-yブートストラップの標準誤差は、非漸近的かつデータ駆動的な性質を持つため、一般にサンドイッチ推定量よりも安定している可能性があると主張する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック回帰におけるモデルの正しさという概念を、真のモデルを仮定しないモデルフリーな枠組みでどのように再定義できるか？
• RQ2 元のモデルが正しくない場合に、回帰関数型が『適切に仕様化されている』とは具体的にどういう意味か？
• RQ3 パラメトリック仮定や分布のシフトに依存せずに、回帰関数型の不適合をどのように診断できるか？
• RQ4 回帰関数型の標本変動性が、応答分布と回帰変数分布の両方に起因する成分にどのように分解されるか？
• RQ5 x-yブートストラップの標準誤差とプラグイン／サンドイッチ推定量との理論的関係は何か？有限標本においてどちらがよりロバストか？

主な発見

• 回帰関数型の『適切な仕様』は、回帰変数の周辺分布の変化に対して不変であるという性質として定義され、これは応答の条件付き分布そのものに依存する性質である。
• 回帰関数型の標本変動性は、2つのN⁻¹ᐟ²の成分に分解され、1つは条件付き応答分布に起因し、もう1つは回帰変数分布と不適合の相互作用に起因する。
• 再重み付け診断法により、関数型が回帰変数分布に依存するかどうかを評価することで不適合を検出でき、この手法は定量的・定性的な変数の両方に対して適用可能である。
• プラグイン／サンドイッチ推定量の標準誤差は、x-yブートストラップ推定量の極限ケースとして示され、リサンプリング手法と古典的推論の理論的接続が確立された。
• 理論的ヒューリスティクスにより、x-yブートストラップの標準誤差は、非漸近的かつデータ駆動的な性質を持つため、一般にサンドイッチ推定量よりも安定している可能性がある。
• このフレームワークにより、回帰関数型による局所的最良近似の探索を通じてモデルの局所化が可能となり、単一のフィットにとどまらないパラメトリックモデルの表現力が著しく拡張される。