[論文レビュー] Correction of overfitting bias in regression models

Emanuele Massa, Marianne A. Jonker+2 more|arXiv (Cornell University)|Apr 12, 2022

Statistical Methods and Bayesian Inference被引用数 6

ひとこと要約

本稿は、標本サイズ $n$ と共変数の数 $p$ が同程度である状況において、回帰モデルの最尤推定量における過学習バイアスを補正する、新しいジャックナイフ法を提案する。正規性仮定の下で、1つずつ観測値を除いた分析（leave-one-out）理論から導かれる簡潔な非線形方程式のセットを用いることで、回帰パラメータとネイジスパラメータの両方のバイアスを同時に補正可能となり、さまざまな $\theta = p/n$ の設定において、シミュレーションとよく一致する高精度な収縮係数を達成する。

ABSTRACT

Regression analysis based on many covariates is becoming increasingly common. However, when the number of covariates $p$ is of the same order as the number of observations $n$, maximum likelihood regression becomes unreliable due to overfitting. This typically leads to systematic estimation biases and increased estimator variances. It is crucial for inference and prediction to quantify these effects correctly. Several methods have been proposed in literature to overcome overfitting bias or adjust estimates. The vast majority of these focus on the regression parameters. But failure to estimate correctly also the nuisance parameters may lead to significant errors in confidence statements and outcome prediction. In this paper we present a jacknife method for deriving a compact set of non-linear equations which describe the statistical properties of the ML estimator in the regime where $p=O(n)$ and under the hypothesis of normally distributed covariates. These equations enable one to compute the overfitting bias of maximum likelihood (ML) estimators in parametric regression models as functions of $ζ= p/n$. We then use these equations to compute shrinkage factors in order to remove the overfitting bias of maximum likelihood (ML) estimators. This new derivation offers various benefits over the replica approach in terms of increased transparency and reduced assumptions. To illustrate the theory we performed simulation studies for multiple regression models. In all cases we find excellent agreement between theory and simulations.

研究の動機と目的

• 標本サイズ $n$ と共変数の数 $p$ が同程度（$p = O(n)$）である状況では古典的漸近理論が成立しないため、最尤（ML）推定量に生じる系統的バイアスと分散の増大を是正すること。
• 既存の補正手法を回帰係数にとどまらず、信頼区間や予測区間の構築に不可欠な残差分散などのネイジスパラメータまで拡張すること。
• 統計物理学の仮定に依存しない、透明性の高い非再現ベースの枠組みを構築し、最尤推定量の漸近的バイアスと分散を1つずつ観測値を除いた分析理論から導出すること。
• シミュレーション研究によって検証された、実用的で計算効率の良いバイアス補正手法を開発すること。
• 標本サイズ $n$ が小さく共変数の数 $p$ が大きい医療・生物統計的応用で一般的な高次元設定において、正確な統計的推論を可能にすること。

提案手法

• 最尤推定量の漸近的挙動を記述する非線形の自己整合方程式のセットを、$p = \theta n$ の設定における1つずつ観測値を除いた分析から導出する。
• 共変数の回転対称性とガウス分布仮定を用いて、推定量の確率的表現を導出し、解析的取り扱いの可能性を高める。
• 方程式から得られる2つの重要なパラメータ、$k_\star$ と $v_\star$ を導入し、これらは最尤推定量のバイアスと分散を特徴づける。
• これらのパラメータを用いて、$\beta$ と $\sigma$ の推定量におけるバイアスと分散の増大を同時に補正する収縮係数を計算する。
• $k_\star$ と $v_\star$ の幾何的解釈（重なり濃度）を用いて、理論的結果と観察可能な量を結びつける。
• 複数の $\zeta = p/n$ の値について、補正済みと未補正の推定量を比較したシミュレーション研究により、本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 共変数の数 $p$ が標本サイズ $n$ と同程度である状況において、最尤推定量の過学習バイアスを体系的に補正する方法は何か？
• RQ2 高次元回帰における回帰係数とネイジスパラメータ（例えば残差分散）の同時漸近的挙動はどのように規定されるか？
• RQ3 統計物理学の仮定に依存せず、再現ベースでない透明な枠組みを構築し、バイアスと分散の補正を導出できるか？
• RQ4 導出された補正係数は、有限標本設定において推定量の精度をどの程度向上させ、平均二乗誤差をどの程度低減するか？
• RQ5 推定量のサンプリング分布の理論的近似は、さまざまな $p/n$ 比において、実際のシミュレーションとどの程度一致するか？

主な発見

• 導出された自己整合方程式は、$\zeta = p/n$ のさまざまな値において、最尤推定量のバイアスと分散を正確に予測でき、理論とシミュレーションの間で強い一致を示す。
• 補正済みの $\hat{\bm{\beta}}_n$ と $\hat{\bm{\sigma}}_n$ の推定量は、そのサンプリング分布が真のパラメータ値の周囲に中心化されることから、実質的にバイアスが除去されていることが示された。
• 補正済み推定量 $\tilde{\bm{\beta}}_n$ の近似漸近的分布は、$\mathcal{N}(\bm{\beta}_0, v_\star^2 / k_\star^2 p)$ としてよく記述されており、シミュレーションのヒストограмと高い一致を示した。
• 特に $\bm{\beta}_0$ がスパースな場合に顕著に生じる高次元設定における $\mathbf{e}_1^\prime\hat{\bm{\beta}}_n$ の分散の過小評価を、本手法は効果的に補正した。
• 理論は $\hat{\bm{\sigma}}_n$ の分布の最頻値を正確に捉えており、過学習下でもネイジスパラメータの推定が信頼できることが示された。
• 中心極限定理が $\mathbf{X}_i^\prime\hat{\bm{\beta}}_{(i)}$ 条件付きに成立する限り、正規性からの逸脱に対しても本手法は頑健であることが示され、ガウス分布以外の共変数に対しても広範な適用可能性を示唆している。