[논문 리뷰] On Bayesian quantile regression curve fitting via auxiliary variables

J.-L. Dortet-Bernadet, Yanan Fan|arXiv (Cornell University)|2012. 02. 27.

Statistical Methods and Inference참고 문헌 33인용 수 5

한 줄 요약

이 논문은 미리 정해진 결합점 수와 위치가 없는 보조 변수와 스플라인을 사용한 완전 자동화된 베이지안 분위수 회귀 방법을 제안한다. 척도 혼합 정규분포 표현과 효율적인 메트로폴리스-해스팅스 내 거세이브 샘플러를 활용하여, 역전이 없는 MCMC나 우도 근사가 필요 없이 강건하고 교차하지 않는 분위수 곡선 피팅을 가능하게 하며, 분위수 간 단조성을 보장하기 위한 후처리 단계를 포함한다.

ABSTRACT

Quantile regression has received increased attention in the statistics community in recent years. This article adapts an auxiliary variable method, commonly used in Bayesian variable selection for mean regression models, to the fitting of quantile regression curves. We focus on the fitting of regression splines, with unknown number and location of knots. We provide an efficient algorithm with Metropolis-Hastings updates whose tuning is fully automated. The method is tested on simulated and real examples and its extension to additive models is described. Finally we propose a simple postprocessing procedure to deal with the problem of the crossing of multiple separately estimated quantile curves.

연구 동기 및 목표

• 모르는 결합점 수와 위치를 가진 스플라인을 사용하여 부드러운 분위수 회귀 곡선을 베이지안 프레임워크에서 피팅하는 문제를 해결한다.
• 비모수적 스플라인을 사용하는 분위수 회귀에서 복잡한 역전이 없는 MCMC와 우도 근사의 한계를 보완하기 위해 보조 변수 접근법을 도입한다.
• 자기 조정 메트로폴리스-해스팅스 제안을 통해 계산 효율성과 사용성을 향상시키기 위한 완전 자동화된 MCMC 알고리즘을 개발한다.
• 분위수 간 단조성을 보장하기 위해, 단조성 제약 조건을 기반으로 MCMC 샘플을 재가중하는 후처리 절차를 통해 교차하지 않는 분위수 곡선을 확보한다.
• 다양한 예측 변수를 가진 다변량 분위수 회귀를 위한 유연한 곡선 피팅이 가능한 가산 모형으로 방법을 확장한다.

제안 방법

• 비대칭 라플라스 우도를 재매개변수화하기 위해 보조 변수 표현을 사용하여 공액 사전과 회귀 및 분산 매개변수의 해석적 마진화를 가능하게 한다.
• 결합점의 수와 위치가 모르는 스플라인 회귀를 기반으로 분위수 곡선을 모델링하며, 절단된 거듭제곱 항을 포함한 기저 함수를 활용한다.
• 조건부로 매개변수를 갱신하는 메트로폴리스-해스팅스 내 거세이브 샘플러를 구현하며, 자가 조정 알고리즘을 사용해 제안 분산을 자동으로 튜닝한다.
• 비대칭 라플라스 분포의 척도 혼합 정규분포 표현을 활용하여 효율적인 사후 계산을 촉진한다.
• 분위수 간 단조성을 보장하기 위해, $ f_{p_1}(x) < f_{p_2}(x) $ 를 $ p_1 < p_2 $ 에 대해 강제하는 지표 함수를 사용하여 별도의 분위수 피팅에서 얻은 MCMC 샘플을 재가중하는 후처리 절차를 적용한다.
• 별도의 분위수 모델에서의 병합된 MCMC 샘플을 중요도 샘플링을 통해 사용하여 제약 조건이 있는 사후 기대값을 추정한다.

실험 결과

연구 질문

• RQ1 스플라인의 결합점 수와 위치가 알려지지 않은 상황에서 베이지안 분위수 회귀를 어떻게 효율적으로 수행할 수 있는가?
• RQ2 보조 변수 접근법을 통해 비모수적 스플라인을 사용하는 분위수 회귀에서 복잡한 역전이 없는 MCMC가 필요 없어지는가?
• RQ3 분위수 회귀에서 메트로폴리스-해스팅스 제안의 자동 튜닝을 어떻게 완전 자동화된 방식으로 달성할 수 있는가?
• RQ4 추정된 분위수 곡선 간의 교차를 방지하기 위한 효과적인 후처리 전략은 무엇인가?
• RQ5 제안된 방법은 다중 예측 변수를 가진 가산 분위수 회귀 모형으로 자연스럽게 확장될 수 있는가?

주요 결과

• 제안된 보조 변수 방법은 마진 우도 근사나 역전이 없는 MCMC가 필요 없이 효율적인 사후 계산을 가능하게 한다.
• 자기 조정된 제안 분산을 가진 완전 자동화된 MCMC 샘플러는 표준 MCMC 접근법에 비해 수렴성과 사용성 면에서 크게 향상된다.
• 모의 및 실제 데이터셋을 통해 결합점 수와 위치가 알려지지 않은 부드러운 분위수 곡선을 성공적으로 피팅함을 입증하였다.
• 후처리 절차는 단조성 제약 조건을 기반으로 MCMC 샘플을 재가중하여 교차하지 않는 분위수 곡선을 효과적으로 강제하며, 계산 오버헤드가 최소한이다.
• 이 방법은 가산 모형으로 쉽게 확장 가능하여, 다수의 공변량을 가진 비모수적 분위수 회귀를 위한 영리한 유연성과 함께 제공된다.
• 식 (16)의 제약 조건이 있는 추정량은 신뢰할 수 있는 교차하지 않는 분위수 곡선을 제공하지만, 제약 조건으로 인해 너무 많은 샘플이 제거될 경우 성능이 저하되며, 이 경우 더 많은 MCMC 추출이 필요로 한다.