[논문 리뷰] On Bayesian quantile regression and outliers

Bruno Santos, Heleno Bolfarine|arXiv (Cornell University)|2016. 01. 27.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 3

한 줄 요약

이 논문은 비대칭 라플라스 혼합 표현을 통한 잠재변수의 사후분포를 활용하여 회귀모형에서 이질치를 식별하는 베이지안 분위수 회귀 접근법을 제안한다. 척도 매개수 σ를 고정하는 대신 추정 가능한 것으로 간주함으로써, 조건부 분포에서 크게 벗어나 있는 관측치, 특히 다양한 분위수 영역에서의 이질치를 탐지할 수 있다. 시뮬레이션과 브라질의 기니지수 데이터(다양한 분위수 영역에 다수의 이질치 존재)를 통해 이를 입증하였다.

ABSTRACT

In this work we discuss the progress of Bayesian quantile regression models since their first proposal and we discuss the importance of all parameters involved in the inference process. Using a representation of the asymmetric Laplace distribution as a mixture of a normal and an exponential distribution, we discuss the relevance of the presence of a scale parameter to control for the variance in the model. Besides that we consider the posterior distribution of the latent variable present in the mixture representation to showcase outlying observations given the Bayesian quantile regression fits, where we compare the posterior distribution for each latent variable with the others. We illustrate these results with simulation studies and also with data about Gini indexes in Brazilian states from years with census information.

연구 동기 및 목표

• 고정된 척도 매개수(σ)로 인한 베이지안 분위수 회귀의 한계를 해결하기 위해, 이는 분산 제어와 추론에 영향을 줄 수 있다.
• 비대칭 라플라스 혼합 표현에서 잠재변수의 사후분포를 분석하여 이질치를 탐지하는 강력한 방법을 개발하기 위해.
• 다수의 이질치가 서로 다른 분위수에 다르게 영향을 미칠 수 있음을 입증하기 위해, 특히 분위수별로 별도의 이질치 탐지가 필요하다는 점을 보여주기 위해.
• 사후 잠재변수 분포를 활용하여 케이스 삭제 진단의 계산 가능 대안을 제공하기 위해.
• σ를 고정할 경우 후행 공분산이 신뢰할 수 없고, 특히 고차원 또는 오염된 데이터에서 추정치가 편향됨을 보여주기 위해.

제안 방법

• 비대칭 라플라스 분포의 척도 혼합 표현을 사용하여, 지수 혼합 변수를 활용한 정규 분산-평균 혼합으로 표현한다.
• 각 관측치 $ i $에 대한 잠재변수 $ v_i $ 를 모델링하며, 이 사후분포는 잔차가 조건부 분위수에서 얼마나 벗어나 있는지를 반영한다.
• MCMC 샘플링을 적용하여 회귀계수, $ \sigma $, 그리고 잠재변수 $ v_i $ 의 공동 사후분포를 추정함으로써 완전한 베이지안 추론을 가능하게 한다.
• 관측치 간 $ v_i $ 의 사후분포를 비교하여 극단적인 값을 가진 관측치를 식별한다. 이는 잠재적인 이질치를 나타낸다.
• 각 $ v_i $ 의 사후분포와 평균 사후분포 간의 쿨백-라이블러 발산을 사용하여 이질성 정도를 정량화한다.
• 이질치일 가능성의 평균 사후확률을 진단 척도로 사용하며, 높은 값일수록 더 큰 이질성 정도를 나타낸다.

실험 결과

연구 질문

• RQ1 베이지안 분위수 회귀에서 척도 매개수 σ를 고정할 경우 후행 추론과 이질치 탐지에 어떤 영향을 미치는가?
• RQ2 잠재변수 $ v_i $ 의 사후분포가 베이지안 분위수 회귀에서 이질 관측치를 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ3 다수의 이질치가 서로 다른 분위수에 대해 분위수 회귀 추정치에 어떻게 영향을 미치며, 별도로 탐지할 수 있는가?
• RQ4 후행분포에서 σ를 추정하는 것과 1로 고정하는 것의 모형 적합도 및 추론 정확도에 대한 영향은 무엇인가?
• RQ5 제안된 방법은 하부 및 상부 분위수와 같은 조건부 분포의 다양한 부분에서 영향력 있는 이질치를 탐지할 수 있는가?

주요 결과

• 잠재변수 $ v_i $ 의 사후분포는 특히 하부 및 상부 분위수에서 데이터의 주요 집합에서 벗어나 있는 관측치를 효과적으로 식별한다.
• 브라질 연방직할(2010, 2000, 1991년)의 관측치는 높은 소득과 교육 수준에도 불구하고 기대되는 기니지수 수준보다 낮은 0.1번째 분위수에서 이질치로 식별되었다.
• 2010년 산타카타리아 주는 기대치보다 훨씬 낮은 기니지수(0.49)를 기록하여 0.9번째 분위수에서 이질치로 표시되었다. 다음으로 낮은 기니지수는 0.53이었다.
• 이 방법은 이질치가 분위수 간에 다르게 회귀 추정치에 영향을 미치며, 다수의 이질치가 존재할 경우 시뮬레이션에서 편향이 증가하는 것으로 나타났다.
• σ를 1로 고정할 경우 후행 공분산 행렬이 신뢰할 수 없고 추론이 열악해지지만, 후행분포에서 σ를 추정할 경우 모형의 강건성과 분산 제어가 향상된다.
• 쿨백-라이블러 발산과 이질치일 가능성의 평균 사후확률은 극단적인 관측치를 식별하는 데 일관되고 해석 가능한 척도를 제공한다.