[論文レビュー] Recursive bias estimation for multivariate regression smoothers

P.-A. Cornillon, Nicolas Hengartner+1 more|arXiv (Cornell University)|May 17, 2011

Statistical Methods and Inference参考文献 26被引用数 9

ひとこと要約

本稿では、薄板スプラインやカーネルスムージングなどの基本スムージング手法のバイアスを繰り返し補正することで、最適なスムージングパラメータの選択を必要とせずに予測精度を段階的に向上させる再帰的バイアス推定手法を提案する。得られるIBR（反復的バイアス低減）スムージング手法は、基本スムージング手法や加法的モデル（例：GAM）を上回り、シミュレーションでは予測誤差を最大6000%まで低減し、ボストン住宅データセットでは20–40%の改善を達成した。これは、中程度の次元数（d ≤ 13）および小規模から中規模の標本サイズ（n ≤ 800）においても有効である。

ABSTRACT

This paper presents a practical and simple fully nonparametric multivariate smoothing procedure that adapts to the underlying smoothness of the true regression function. Our estimator is easily computed by successive application of existing base smoothers (without the need of selecting an optimal smoothing parameter), such as thin-plate spline or kernel smoothers. The resulting smoother has better out of sample predictive capabilities than the underlying base smoother, or competing structurally constrained models (GAM) for small dimension (3 < d < 8) and moderate sample size (n < 800). Moreover our estimator is still useful when (d> 10) and to our knowledge, no other adaptive fully nonparametric regression estimator is available without constrained assumption such as additivity for example. On a real example, the Boston Housing Data, our method reduces the out of sample prediction error by 20 %. An R package ibr, available at CRAN, implements the proposed multivariate nonparametric method in R.

研究の動機と目的

• 真の回帰関数の未知の滑らかさに適応する完全に非パラメトリックな多変量回帰スムージング手法の開発を目的とする。
• 最適なスムージングパラメータの選択に依存せず、反復的補正によるバイアス低減によって、非パラメトリック回帰における次元の呪いを緩和することを目的とする。
• GAM や MARS などの既存モデルを上回る予測精度を実現する、実用的で計算効率の良い手法を、中程度の次元数と標本サイズにおいて提供することを目的とする。
• 加法的構造を仮定しない制約を課さずに、従来の手法が失敗する高次元（d > 10）でも、完全に非パラメトリックなスムージング手法が有効であることを示すこと。
• 提案手法の実装と公開を目的とし、Rパッケージ（ibr）をCRANにリリースして、実世界のデータ解析への応用を容易にすること。

提案手法

• 基本スムージング手法（例：薄板スプラインやカーネルスムージング）に再帰的スキームを適用し、反復的に回帰推定値のバイアスを低減する。
• 各反復で、観測応答と現在のスムージング推定値との残差を、同じ基本スムージング手法で平滑化し、その結果を現在の推定値に加算する。
• 一般化交差検証（GCV）に基づく停止ルールまたは固定回数の反復に達するまで繰り返し、過剰適合を回避する。
• 最終的な推定量は、反復的に補正されたスムージング出力の和として得られ、元のスムージング手法のバイアス低減版を近似的に実現する。
• 理論的証明により、薄板スプラインを用いた場合に、スムージング手法が真の回帰関数の滑らかさに自動的に適応すること（定理1および定理2）を示した。
• 各ステップでスムージングパラメータをチューニングする必要はなく、基本スムージング手法の内蔵スムージング機能と反復的精錬に依存する。

実験結果

リサーチクエスチョン

• RQ1 最適なスムージングパラメータの選択を必要とせず、真の回帰関数の未知の滑らかさに適応する完全に非パラメトリックな多変量スムージング手法を構築可能か？
• RQ2 基本スムージング手法を反復的に適用する反復的バイアス補正により、標準的なスムージング手法や加法的モデルに比べて、予測性能が向上するか？
• RQ3 この手法は、中程度の次元数（d = 3 から 13）および小規模から中規模の標本サイズにおいて、非パラメトリック回帰における次元の呪いをどの程度軽減できるか？
• RQ4 真の回帰関数が加法的モデルが捉えきれない高次相互作用を含む場合、この手法は有効か？
• RQ5 反復的バイアス低減フレームワークは、異なる基本スムージング手法へ一般化可能か？また、後続の反復で弱いスムージング手法を用いる利点はあるか？

主な発見

• シミュレーション研究において、d = 3 から 7 および n ≤ 800 の条件下で、IBRスムージング手法はGAMモデルに比べて予測誤差を最大6000%まで低減した。
• ボストン住宅データセット（n = 506, d = 13）において、ガウスカーネルを用いたIBRスムージング手法（1230反復）は、予測MSEを7.35まで低下させ、次に優れた手法（MARS：10.54）に比べ20%の改善を達成した。
• ボストンデータの対数スケールにおいて、IBR手法は競合モデルに比べて予測MSEを40%低減し、複雑な非線形構造に対しても優れた性能を示した。
• TPSに基づくIBRスムージング手法は、最適にチューニングされたTPSスムージング手法を常に上回り、シミュレーション全体で中央値MSEが約20%低下した。
• d > 10 の高次元でも、他の完全に非パラメトリックな適応的推定手法が存在しない中で、本手法は依然として有効であった。
• CRANにリリースされたRパッケージ ibr は、提案手法の実装に成功し、実データ解析における本手法の実用的応用を可能にした。