[논문 리뷰] A New Family of Error Distributions for Bayesian Quantile Regression

Yifei Yan, Athanasios Kottas|arXiv (Cornell University)|2017. 01. 20.

Statistical Methods and Inference참고 문헌 30인용 수 11

한 줄 요약

이 논문은 비대칭 라플라스(Asymmetric Laplace, AL) 분포의 엄격한 구조를 넘어 모드, 왜도, 꼬리 행동을 독립적으로 제어할 수 있도록, 정규분포의 구조적 혼합을 기반으로 한 새로운 유연한 오차 분포 가족을 제안한다. 이 모형은 효율적인 MCMC 추론을 지원하며, 정규화된 및 토비트 분위수 회귀에서 특히 극단적 분위수에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a new family of error distributions for model-based quantile regression, which is constructed through a structured mixture of normal distributions. The construction enables fixing specific percentiles of the distribution while, at the same time, allowing for varying mode, skewness and tail behavior. It thus overcomes the severe limitation of the asymmetric Laplace distribution -- the most commonly used error model for parametric quantile regression -- for which the skewness of the error density is fully specified when a particular percentile is fixed. We develop a Bayesian formulation for the proposed quantile regression model, including conditional lasso regularized quantile regression based on a hierarchical Laplace prior for the regression coefficients, and a Tobit quantile regression model. Posterior inference is implemented via Markov Chain Monte Carlo methods. The flexibility of the new model relative to the asymmetric Laplace distribution is studied through relevant model properties, and through a simulation experiment to compare the two error distributions in regularized quantile regression. Moreover, model performance in linear quantile regression, regularized quantile regression, and Tobit quantile regression is illustrated with data examples that have been previously considered in the literature.

연구 동기 및 목표

• 분위수를 지정할 때 왜도와 모드가 고정되는 비대칭 라플라스(Asymmetric Laplace, AL) 분포의 한계를 해결하기 위해.
• 분위수로 파arameter화되며, 왜도, 모드, 꼬리 행동을 민감하게 모델링할 수 있는 파라미터 기반 오차 분포를 개발하기 위해.
• 계층적 혼합 표현을 통해 MCMC를 통한 실용적인 베이지안 추론을 가능하게 하기 위해.
• 특히 극단적 분위수에서 정규화된 분위수 회귀 및 토비트 분위수 회귀에서 모델 성능을 향상시키기 위해.
• 복잡한 데이터 구조에서 더 풍부한 모델링을 가능하게 하는 AL의 민감한 파라미터 대체 모델을 제공하기 위해.

제안 방법

• 왜도 및 꼬리 행동을 제어할 수 있는 형태 파라미터를 가진 정규분포의 계층적 혼합을 통해 새로운 오차 분포를 구성한다.
• 분위수 회귀에 대한 베이지안 프레임워크에 새로운 분포를 통합하여, MCMC를 이용한 완전한 사후 추론을 가능하게 한다.
• 변수 선택을 위해 회귀 계수에 계층적 라플라스 사전분포를 도입하여 조건부 라소 정규화를 통합한다.
• 관측치가 절단된 데이터를 다룰 수 있도록 모형을 토비트 분위수 회귀에 적응시킨다.
• 혼합 표현을 통해 AL 분포를 일반화하며, 형태 파라미터가 고정될 경우 AL로 축소된다.
• 계층적 구조에서 유도된 완전한 조건부 분포를 활용하여 MCMC 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 분위수 회귀에서 모드, 왜도, 꼬리 행동을 독립적으로 제어할 수 있는 파라미터 기반 오차 분포를 개발할 수 있는가?
• RQ2 정규화된 분위수 회귀에서 새로운 분포가 비대칭 라플라스 분포보다 더 높은 영리성과 적합도를 보이는가?
• RQ3 절단된 데이터를 가진 토비트 분위수 회귀에서 새로운 모형이 추론 정확도와 낙관성 향상에 기여하는가?
• RQ4 비대칭 라플라스 분포보다 새로운 분포가 극단적 분위수(예: 5번째 및 95번째 백분위수)를 더 잘 포착할 수 있는가?
• RQ5 실제 적용 사례(예: 노동 공급 모델링)에서 오차 분포 선택이 실무적 결론에 미치는 영향은 어떠한가?

주요 결과

• 제안된 일반화된 비대칭 라플라스(Generalized Asymmetric Laplace, GAL) 분포는 지정된 백분위수를 고정하면서도 왜도와 꼬리 행동을 민감하게 제어할 수 있으며, AL 분포와는 달리 이에 유연하다.
• 노동 공급 데이터 분석에서 GAL 모형 하에서 형태 파라미터 γ의 95% 신뢰구간은 모든 경우에 0을 포함하지 않아, AL을 초월한 유연성이 뚜렷하게 나타났다.
• p₀ = 0.05, 0.50, 0.95 전반에서 GAL 기반 모형은 BIC 값이 AL 모형보다 일관되게 낮았으며, 특히 극단적 분위수에서 개선 효과가 두드러졌다.
• GAL 모형 하에서, 세 명의 어린이가 있는 여성의 노동 공급 95번째 분위수가 양수일 확률의 사후 확률은 0.19에 불과했으나, AL 모형에서는 0.97였으며, 이는 GAL이 고급 노동 공급을 더 보수적으로 추정함을 시사한다.
• GAL 모형의 사후 밀도는 특히 어린이 수가 증가할수록 더 현실적인 꼬리 행동을 반영하며, 고급 노동 공급에 대해 보수적인 추정을 보였다.
• 시뮬레이션 및 데이터 예제를 통해 오차 분포 선택이 극단적 분위수에서 추론에 상당한 영향을 미치며, AL 분포를 초월한 더 민감한 파라미터 대체 모델의 필요성을 확인하였다.