[論文レビュー] The Risk of Machine Learning

Alberto Abadie, Maximilian Kasy|arXiv (Cornell University)|Mar 31, 2017

Statistical Methods and Inference参考文献 29被引用数 5

ひとこと要約

この論文は、処置効果などの多くのパラメータを同時に推定する経済学の分野で一般的な高次元設定において、正則化推定量（リッジ、ラッソ、事前検定）のリスク（平均二乗誤差）を分析している。データ駆動型の正則化パラメータ選択法（スティンの不偏リスク推定または交差検証）により、実現不可能な最適選択に一様に近いリスクを持つ推定量が得られることを示しており、応用研究者に対する推定量選択とチューニングパrameter選択の実用的指針を提供する。

ABSTRACT

Many applied settings in empirical economics involve simultaneous estimation of a large number of parameters. In particular, applied economists are often interested in estimating the effects of many-valued treatments (like teacher effects or location effects), treatment effects for many groups, and prediction models with many regressors. In these settings, machine learning methods that combine regularized estimation and data-driven choices of regularization parameters are useful to avoid over-fitting. In this article, we analyze the performance of a class of machine learning estimators that includes ridge, lasso and pretest in contexts that require simultaneous estimation of many parameters. Our analysis aims to provide guidance to applied researchers on (i) the choice between regularized estimators in practice and (ii) data-driven selection of regularization parameters. To address (i), we characterize the risk (mean squared error) of regularized estimators and derive their relative performance as a function of simple features of the data generating process. To address (ii), we show that data-driven choices of regularization parameters, based on Stein's unbiased risk estimate or on cross-validation, yield estimators with risk uniformly close to the risk attained under the optimal (unfeasible) choice of regularization parameters. We use data from recent examples in the empirical economics literature to illustrate the practical applicability of our results.

研究の動機と目的

• 高次元推定問題において、リッジ、ラッソ、事前検定推定量の間で応用経済学者がどのように選択すべきかを実用的指針を提供すること。
• 固定およびオラクル最適正則化パrameterを用いた正則化推定量のリスク（平均二乗誤差）を分析すること。
• 正則化パラメータ選択のためのデータ駆動型手法（SUREおよび交差検証）のリスク最小化という観点での性能を評価すること。
• スパarsityや分散などのデータ生成過程の特徴に基づいて推定量の相対的性能を特徴づけること。
• 多くの処置効果、サブグループ効果、高次元予測モデルを含む設定に理論的リスク分析を拡張すること。

提案手法

• 処置効果や予測モデリングの応用をカバーする、$X_1, \ldots, X_n$ からの多くの平均 $\mu_1, \ldots, \mu_n$ の推定をモデル化。ここで $X_i$ は $\mu_i$ のノイズを含む推定量である。
• 正則化パラメータ $\lambda$ を用いた成分ごとの推定量 $\widehat{\mu}_i = m(X_i, \lambda)$ を定義。$\lambda=0$ は正則化なし推定に対応し、$\lambda>0$ はゼロへの収縮を誘導する。
• 階層ベイズモデル下での不切実な最適後退後平均に対する推定量とその距離に依存するリスク（平均二乗誤差）の関数として推定量のリスクを導出。
• スパarsity（ゼロに点質量を有する）および正規条件付き分布を含むパラメトリックモデルを用いて、オラクル $\lambda$ 下での解析的リスク関数を導出。
• スティンの不偏リスク推定（SURE）および交差検証を用いて $\lambda$ のデータ駆動型選択を実施し、オラクルリスクに一様に確率的に収束するリスクを証明。
• 分布族 $\mathcal{Q}$ における確率的一様収束を用いて、データ駆動型基準が近似的に最適リスクを持つ $\lambda$ を一貫して選択できることを確立。

実験結果

リサーチクエスチョン

• RQ1 特にスパarsityや分散という観点から、さまざまなデータ生成過程におけるリッジ、ラッソ、事前検定推定量のリスク特性はどのように比較されるか？
• RQ2 データ駆動型正則化パラメータ選択（SURE や交差検証によるもの）の理論的性能は、実現不可能なオラクル選択に比べてどうなるか？
• RQ3 高次元推定設定において、リッジがラッソや事前検定を上回る条件は何か？
• RQ4 真のパrameter $\mu_i$ の分布、特にゼロ効果の割合に依存して、正則化推定量のリスクはどのように変化するか？
• RQ5 SURE や交差検証のようなデータ駆動型基準について、広範な分布族にわたってリスクの一様収束を確立できるか？

主な発見

• 最適な正則化推定量は、$X_i$ および $\mu_1, \ldots, \mu_n$ の実現分布を条件とする $\mu_i$ の後退後平均であり、リスク分析のベンチマークとして機能する。
• ゼロに点質量を有するスパースなパラメトリックモデルと正規条件付き分布を仮定した場合、真のゼロの割合が小さい場合にはリッジがラッソおよび事前検定を上回る。
• スティンの不偏リスク推定（SURE）による $\lambda$ のデータ駆動型選択は、オラクル最適 $\lambda$ のリスクに確率的に一様に収束する推定量を生成する。
• 交差検証についても、分布族 $\mathcal{Q}$ に正則性条件が満たされれば、オラクルリスクに一様に近いリスクを持つ推定量が得られる。
• 正則化なし最尤推定量（$\widehat{\mu}_i = X_i$）のリスクは $\sigma_i^2$ であり、$\mu_i$ がゼロに近い場合には正則化推定量に劣る。
• lasso の条件が満たされ、かつ $|x|\widehat{f}(x)$ が一様に一貫して推定される場合、事前検定推定量の SURE 基準についても一様収束が成立する。