[논문 리뷰] D-vine quantile regression with discrete variables

Niklas Schallhorn, Daniel Kraus외 2명|arXiv (Cornell University)|2017. 05. 23.

Statistical Methods and Inference참고 문헌 18인용 수 17

한 줄 요약

이 논문은 혼합 이산-연속 데이터를 위한 두 가지 새로운 D-나무 분위수 회귀 방법을 제안한다: 이산성 처리를 위해 수정된 파라미터 D-나무 공식을 사용하는 방법과 비모수 커널 추정을 사용하는 연속 합성 방법이다. 비모수적 접근법은 비선형, 비단조화 관계를 모델링하는 데에 경쟁자들보다 뛰어나며, 특히 기상 및 시간 조건이 변화할 때 자전거 대여 수요 예측에 유리하다.

ABSTRACT

Quantile regression, the prediction of conditional quantiles, finds applications in various fields. Often, some or all of the variables are discrete. The authors propose two new quantile regression approaches to handle such mixed discrete-continuous data. Both of them generalize the continuous D-vine quantile regression, where the dependence between the response and the covariates is modeled by a parametric D-vine. D-vine quantile regression provides very flexible models, that enable accurate and fast predictions. Moreover, it automatically takes care of major issues of classical quantile regression, such as quantile crossing and interactions between the covariates. The first approach keeps the parametric estimation of the D-vines, but modifies the formulas to account for the discreteness. The second approach estimates the D-vine using continuous convolution to make the discrete variables continuous and then estimates the D-vine nonparametrically. A simulation study is presented examining for which scenarios the discrete-continuous D-vine quantile regression can provide superior prediction abilities. Lastly, the functionality of the two introduced methods is demonstrated by a real-world example predicting the number of bike rentals.

연구 동기 및 목표

• 기존 D-나무 분위수 회귀 모델이 연속적이고 연속적인 마진 분포를 가정한다는 점에서 혼합 이산-연속 데이터 모델링의 한계를 해결한다.
• 이산 변수를 포함한 코풀라 기반 모델에서 발생하는 문제, 예를 들어 비유일한 코풀라와 마진 분포에 의한 의존도 오염을 해결한다.
• 분위수 교차를 방지하고 자동으로 공변량 상호작용을 포착하는 유연하고 빠르며 정확한 분위수 회귀 모델을 개발한다.
• 시뮬레이션과 실제 자전거 대여 예측 사례 연구를 통해 제안된 방법의 예측 우수성을 입증한다.
• 이산-연속 설정에서 D-나무 코풀라의 파라미터적 및 비모수적 추정 전략을 비교하여 최적의 성능 트레이드오프를 규명한다.

제안 방법

• 이산 마진 분포를 고려하기 위해 파라미터 D-나무 분위수 회귀 공식을 수정하여 누적분포함수의 수치적 역함수를 통한 조건부 분위수 추정을 가능하게 한다.
• 이산 변수에 작은 소음을 더하여 연속화하는 연속 합성 기법을 적용하여, 커널 밀도 추정기법을 사용한 D-나무 코풀라의 비모수적 추정이 가능하도록 한다.
• 간단화된 D-나무 코풀라 구조를 사용하여 순차적인 이元 쌍-코풀라를 통해 고차원 의존성을 모델링함으로써 효율적이고 민감한 모델링을 보장한다.
• 응답 분위수를 응답의 마진 분포의 역함수로 추정하며, 이를 조건부 코풀라 분포함수를 통해 변환한다.
• 조건부 의존도를 최대화하는 변수를 선택함으로써 최적의 D-나무 구조를 결정하기 위한 순차적 선택 알고리즘을 구현한다.
• 각 공변량이 다양한 분위수 수준에서 예측 분위수에 미치는 영향을 시각화하기 위해 로스스 스무딩을 적용한다.

실험 결과

연구 질문

• RQ1 파라미터 D-나무 분위수 회귀가 분위수 교차를 방지하면서도 이산-연속 혼합 데이터를 다룰 수 있도록 조정될 수 있는가?
• RQ2 연속 합성 기반 비모수적 D-나무 분위수 회귀가 이산-연속 혼합 데이터에서 비선형, 비단조화 관계를 예측하는 데에 파라미터적 및 전통적 분위수 회귀 방법보다 뛰어나게 성능을 발휘하는가?
• RQ3 이산 공변량은 순수 연속 모델 대비 조건부 분위수 예측의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 방법들이 기온과 습도와 같은 복잡한 비단조화 효과를 자전거 대여 수요에 대해 얼마나 잘 포착하는가?
• RQ5 비모수적 D-나무 접근법은 기상 및 시간 변수와 같은 혼합 데이터 유형을 가진 실제 환경에서 조건부 분위수를 신뢰성 있게 추정할 수 있는가?

주요 결과

• 비모수적 D-나무 분위수 회귀(NPDVQR) 방법은 파라미터 D-나무(PDVQR), 선형 분위수 회귀(LQR), 가감 분위수 회귀(BAQR), 커널 분위수 회귀(NPQR)보다 뛰어난 예측 정확도를 보였으며, 비선형 및 비단조화 효과를 포착하는 데 특히 유리했다.
• 기온에 대해서는 NPDVQR가 32°C 이상일 때 자전거 대여 수요가 감소하는 경향을 정확히 모델링했으나, PDVQR나 LQR는 단조로운 관계를 가정하여 이를 포착하지 못했다.
• 파라미터적 D-나무 접근법은 표준 파라미터 쌍-코풀라 가족의 한계로 인해 비단조화 효과를 다루는 데 어려움을 겪었다.
• 실제 자전거 대여 사례 연구에서 NPDVQR는 따뜻한 8월 토요일에 중앙값 8,872대, 10번째 백분위수 7,431대, 90번째 백분위수 10,485대를 예측하여 실용적인 예측 유용성을 입증했다.
• 비모수적 방법은 기상 조건, 계절성, 요일 효과의 영향을 효과적으로 포착했으며, 주말에 수요가 감소하고 평일에 증가하는 경향을 보였다.
• 순차적 선택 알고리즘이 기온을 가장 영향력 있는 변수로 평가했고, 이어서 습도, 풍속, 월, 기상 상황, 주중 여부, 근무일 여부, 계절 순으로 순위를 매겼으며, 이는 실제 수요 패턴을 반영했다.