[논문 리뷰] Case-Deletion Diagnostics for Quantile Regression Using the Asymmetric Laplace Distribution

Luis Benites, Víctor H. Lachos외 1명|arXiv (Cornell University)|2015. 09. 17.

Statistical Methods and Inference참고 문헌 25인용 수 5

한 줄 요약

이 논문은 비대칭 라플라스 분포(Asymmetric Laplace Distribution, ALD)와 최대우도 추정을 위한 EM 알고리즘을 사용하는 우도 기반 분위수 회귀 방법을 제안한다. 이는 완전 데이터 로그우도의 조건부 기대값을 통한 케이스 삭제 진단을 가능하게 하며, 전통적 추정기법 대비 강건성과 효율성을 향상시킨다. 시뮬레이션 및 실데이터 분석에서의 성능이 뛰어나다.

ABSTRACT

To make inferences about the shape of a population distribution, the widely popular mean regression model, for example, is inadequate if the distribution is not approximately Gaussian (or symmetric). Compared to conventional mean regression (MR), quantile regression (QR) can characterize the entire conditional distribution of the outcome variable, and is more robust to outliers and misspecification of the error distribution. We present a likelihood-based approach to the estimation of the regression quantiles based on the asymmetric Laplace distribution (ALD), which has a hierarchical representation that facilitates the implementation of the EM algorithm for the maximum-likelihood estimation. We develop a case-deletion diagnostic analysis for QR models based on the conditional expectation of the complete-data log-likelihood function related to the EM algorithm. The techniques are illustrated with both simulated and real data sets, showing that our approach out-performed other common classic estimators. The proposed algorithm and methods are implemented in the R package ALDqr().

연구 동기 및 목표

• 비대칭 라플라스 분포(Asymmetric Laplace Distribution, ALD)를 사용하여 분위수 회귀의 우도 기반 프레임워크를 개발한다. 이는 최대우도 추정을 가능하게 한다.
• 표준 분위수 회귀에서 체크 함수의 비가속성 문제를 해결하기 위해 ALD의 계층적 표현을 활용한다.
• Q-이탈도 함수와 EM 알고리즘 프레임워크를 이용하여 분위수 회귀 모델의 케이스 삭제 진단을 구현한다.
• 비정규 오차 분포와 이상치가 존재할 경우에도 모수 추정의 강건성과 효율성을 향상시킨다.
• 연구 공동체의 활용을 촉진하기 위해 R 패키지 ALDqr()를 통해 자유롭게 이용 가능한 구현을 제공한다.

제안 방법

• 비대칭 라플라스 분포(Asymmetric Laplace Distribution, ALD)의 우도 함수와 분위수 회귀 체크 함수 간의 관계를 활용한다.
• ALD의 계층적 혼합 표현을 사용하여 잠재 변수를 갖는 정규 회귀 모델로 분위수 회귀 모델을 재구성한다.
• EM 알고리즘을 적용하여 반복적으로 회귀 계수 및 척도 계수의 최대우도 추정치를 계산한다.
• 표관 정보 행렬을 EM 알고리즘의 부산물로 도출하여 표준 오차 추정에 활용한다.
• Zhu 등(2001)의 비완전 데이터 모델 기반 접근을 따르며, 완전 데이터 로그우도의 조건부 기대값을 이용해 케이스 삭제 진단을 개발한다.
• R 패키지 ALDqr()를 통해 방법을 구현하여 분위수 회귀 모델의 재현 가능하고 접근 가능한 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비대칭 라플라스 분포(Asymmetric Laplace Distribution, ALD)를 사용하여 분위수 회귀를 우도 기반 추정 문제로 재구성할 수 있는가?
• RQ2 ALD 혼합 표현 기반의 EM 알고리즘은 기존의 Barrodale-Roberts 및 Lasso-Penalized QR 방법과 비교해 추정 정확도와 표준 오차 성능에서 어떻게 성능을 내는가?
• RQ3 Q-이탈도 함수 기반 케이스 삭제 진단은 ALD 프레임워크를 활용한 분위수 회귀 모델에 효과적으로 적용될 수 있는가?
• RQ4 다양한 오차 분포, 특히 꼬리가 두꺼운 분포와 비대칭 분포에서 제안된 방법의 성능은 어떠한가?
• RQ5 이상치와 비정규 오차 존재 시 EM 기반 ALD 접근법은 강건성과 효율성 측면에서 얼마나 향상되는가?

주요 결과

• 다양한 시뮬레이션 시나리오에서 ALD 기반 EM 알고리즘이 Barrodale-Roberts(BR) 및 Lasso-Penalized Quantile Regression(LPQR) 방법보다 편향과 평균제곱오차(Mean Squared Error, MSE) 측면에서 뛰어난 성능을 보였다.
• 중위수 회귀(p=0.5)의 경우, t3 및 혼합 분포와 같은 비정규 오차 분포 하에서도 제안된 방법이 BR 및 LPQR보다 편향과 MSE가 낮았다.
• 시뮬레이션 연구에서 표본 크기(n=50에서 n=800)가 증가함에 따라 편향과 MSE가 0으로 수렴하는 것으로 나타나, 추정기의 점근적 성질이 양호함을 입증했다.
• 케이스 삭제 진단은 시뮬레이션 및 실데이터 모두에서 영향력 있는 관측치를 성공적으로 식별하였으며, 이는 이상치 탐지에 대한 방법의 유용성을 보여주었다.
• 실데이터 분석 결과, ALD 기반 EM 접근법이 전통적 분위수 회귀 방법보다 더 강건한 모수 추정치와 더 나은 모형 적합도를 제공하는 것으로 확인되었다.
• R 패키지 ALDqr()는 성공적으로 구현되어 공개되었으며, 통계적 실무에서의 방법 보급을 가능하게 하였다.