[논문 리뷰] Local Bayesian Regression

Nils Lid Hjort|arXiv (Cornell University)|2026. 02. 25.

Statistical Methods and Inference참고 문헌 19인용 수 1

한 줄 요약

이 논문은 지역적으로 매개된 모델과 지역 사전을 사용하여 회귀곡선을 추정하기 위한 베이지안 비모수적 및 세미파라메트릭 방법을 개발한다. 또한 경험적 베이지(Bayes)와 계층적 베이지를 결합해 사전 선택을 자동화하고, 특히 다중 공변량이 있을 때 표준 비모수 방법에 비해 잠재적 개선을 보여준다.

ABSTRACT

This paper develops a class of Bayesian non- and semiparametric methods for estimating regression curves and surfaces. The main idea is to model the regression as locally linear, and then place suitable local priors on the local parameters. The method requires the posterior distribution of the local parameters given local data, and this is found via a suitably defined local likelihood function. When the width of the local data window is large the methods reduce to familiar fully parametric Bayesian methods, and when the width is small the estimators are essentially nonparametric. When noninformative reference priors are used the resulting estimators coincide with recently developed well-performing local weighted least squares methods for nonparametric regression. Each local prior distribution needs in general a centre parameter and a variance parameter. Of particular interest are versions of the scheme that are more or less automatic and objective in the sense that they do not require subjective specifications of prior parameters. We therefore develop empirical Bayes methods to obtain the variance parameter and a hierarchical Bayes method to account for uncertainty in the choice of centre parameter. There are several possible versions of the general programme, and a number of its specialisations are discussed. Some of these are shown to be capable of outperforming standard nonparametric regression methods, particularly in situations with several covariates.

연구 동기 및 목표

• 회귀곡선과 표면을 추정하기 위한 지역 매개 베이지안 프레임워크를 도입한다.
• 지역 매개변수(중심과 분산)에 대한 지역 가중 가능도와 사전을 개발한다.
• 사전 설정을 자동화하기 위해 경험적 베이지와 계층적 베이지 방법을 제공한다.
• 지역 상수 및 지역 선형 회귀에 대한 연결과 확장을 보여준다.
• 포아송 회귀와 다변량 공변량에의 적용 가능성을 설명한다.

제안 방법

• 회귀를 x 주위에서 지역적으로 선형(또는 지역적으로 상수)으로 가정하고 지역 매개 beta_x를 도입한다.
• 커널 가중치를 사용해 지역 스무딩 가능도(local smoothed likelihood) L_n(x, beta, sigma)을 정의한다.
• 중심 m0(x)과 분산 sigma^2/w0를 가지는 지역 매개에 정규 사전을 두어 베이지안 추정값이 지역 사후평균으로 도출되도록 한다.
• 시작 곡선 m0와 NW나 LL 같은 지역 추정치를 블렌딩하는 해를 만드는 닫힌 형태의 베이지안 추정치를 도출하며, 가중치 w0와 s0(x)에 의해 제어된다.
• 무조건부 지역 데이터 분포에서 sigma와 w0(x)를 추정하기 위해 경험적 베이지를 사용하고, 시작 곡선의 불확실성(m0를 xi로 표현)도 고려하기 위한 계층적 베이지를 제안한다.
• 지역 베이지안 프레임워크를 지역 선형 모형으로 확장하고, 지역 정밀도 행렬을 추정하고 x 전반에 걸쳐 정보를 결합하는 방법(섹션 2와 3)을 논의한다.

실험 결과

연구 질문

• RQ1 지역 매개 사전이 베이지안 회귀에 어떻게 통합되어 매개적(regime)과 비매개적(regime) 사이를 자동으로 전환되게 할 수 있는가?
• RQ2 경험적 베이지와 계층적 베이지를 사용해 로컬 회귀에서 시작 곡선의 불확실성을 자동으로 다루고 사전 선택을 자동화할 수 있는가?
• RQ3 다변량 공변량이 있을 때 베이지안 회귀에서 로컬 커널 스무딩 가능도의 이 theoretical 및 실용적 이점은 무엇인가?
• RQ4 로컬 베이지안 방법이 실제로 NW 및 LL 추정치와 어떻게 관계하고 개선하는가?
• RQ5 프레임워크를 포아송 회귀 및 기타 회귀 모형으로 확장할 수 있는가?

주요 결과

• 로컬 베이지안 추정치는 시작 곡선과 지역 빈번한 추정치의 볼록 블렌드이며, 가중치는 사전 강도와 로컬 데이터 정보에 의해 결정된다.
• 사전 정밀도 w0,x와 sigma의 경험적 베이지 추정은 특히 데이터 밀도가 낮은 영역에서 적응성을 향상시킨다.
• 계층적 베이지를 통해 xi에 대한 사후를 적분함으로써 시작 곡선 m0(x, xi)의 불확실성을 평균화할 수 있다.
• 이 방법은 지역 선형 모형 및 다른 회귀 설정으로 일반화되며, 다변량 공변량이 있을 때 표준 비모수 방법보다 우수한 성능을 낼 수 있다.
• 지역 베이지안 방법과 표준 지역 회귀, 커널 스무딩 및 슈타인류 축소 아이디어 간의 연결이 제시된다.
• 포아송 회귀 및 기타 비가우시안 설정도 확장으로 논의된다.