[論文レビュー] Local Bayesian Regression

Nils Lid Hjort|arXiv (Cornell University)|Feb 25, 2026

Statistical Methods and Inference参考文献 19被引用数 1

ひとこと要約

この論文は、局所的にパラメトリックなモデルと局所事前情報を用いた回帰曲線推定のためのベイズ非パラメトリックおよび半パラメトリック手法を開発します。経験ベイズと階層ベイズを組み合わせて事前設定を自動化し、特に複数の共変量がある場合に標準的な非パラメトリック法より改善の可能性を示します。

ABSTRACT

This paper develops a class of Bayesian non- and semiparametric methods for estimating regression curves and surfaces. The main idea is to model the regression as locally linear, and then place suitable local priors on the local parameters. The method requires the posterior distribution of the local parameters given local data, and this is found via a suitably defined local likelihood function. When the width of the local data window is large the methods reduce to familiar fully parametric Bayesian methods, and when the width is small the estimators are essentially nonparametric. When noninformative reference priors are used the resulting estimators coincide with recently developed well-performing local weighted least squares methods for nonparametric regression. Each local prior distribution needs in general a centre parameter and a variance parameter. Of particular interest are versions of the scheme that are more or less automatic and objective in the sense that they do not require subjective specifications of prior parameters. We therefore develop empirical Bayes methods to obtain the variance parameter and a hierarchical Bayes method to account for uncertainty in the choice of centre parameter. There are several possible versions of the general programme, and a number of its specialisations are discussed. Some of these are shown to be capable of outperforming standard nonparametric regression methods, particularly in situations with several covariates.

研究の動機と目的

• 回帰曲線と曲面を推定する局所パラメトリックなベイズフレームワークを導入する。
• 局所重み付き尤度と局所パラメータ（中心と分散）に対する事前情報を開発する。
• 事前設定を自動化するための経験ベイズと階層ベイズの方法を提供する。
• 局所定数回帰および局所線形回帰への関連性と拡張を示す。
• ポアソン回帰および多変量共変量への適用性を示す。

提案手法

• 回帰を x の周りで局所的に線形（または局所的に定数）とみなし、局所パラメータ beta_x を導入する。
• カーネル重みを用いて局所平滑化された尤度を形成する局所尤度 L_n(x, beta, sigma) を定義する。
• 局所パラメータに平均 m0(x) および分散 sigma^2/w0 の正規事前を置き、局所事後平均としてのベイズ推定量を得る。
• m0 を始点曲線として局所推定量（NW や LL など）と組み合わせる形で、w0 と s0(x) によって制御される閉形式のベイズ推定量を導出する。
• 無条件分布から sigma と w0(x) を推定するために経験ベイズを用いる；開始曲線の不確実性を xi（開始曲線パラメータ）で表す階層ベイズを提案する。
• 局所ベイズフレームワークを局所線形モデルへ拡張し、局所精度行列の推定と x 全体で情報を統合する方法について議論する（第2章および第3章）。

実験結果

リサーチクエスチョン

• RQ1 局所的なパラメトリック事前情報をベイズ回帰に組み込んで、パラメトリックと非パラメトリックの間の適応をどう実現するか？
• RQ2 経験ベイズと階層ベイズを用いて事前設定を自動化し、局所回帰における開始曲線の不確実性をどう扱うか？
• RQ3 複数の共変量がある場合における局所カーネル平滑化尤度の理論的・実践的利点は何か？
• RQ4 局所ベイズ手法は実務的に NW および LL 推定量とどのように関連し、改善するのか？
• RQ5 このフレームワークはポアソン回帰や他の回帰モデルへ拡張可能か？

主な発見

• 局所ベイズ推定量は開始曲線と局所頻度主義的推定量の凸結合であり、重みは事前情報の強さと局所データ情報によって決まる。
• 事前の精度 w0,x と sigma の経験ベイズ推定は、データ密度が低い領域で特に適応性を向上させる。
• 階層ベイズは xi の後部分布を積分することにより開始曲線 m0(x, xi) の不確実性を平均化できる。
• 局所線形モデルや他の回帰設定への一般化が可能で、複数の共変量が関与する場合には標準的な非パラメトリック法より優れることがある。
• 局所ベイズ法と標準的な局所回帰、カーネル平滑、シュタイン型縮小の考え方との関連を示す。
• ポアソン回帰や他の非ガウス設定は拡張として議論される。