[논문 리뷰] cqrReg: An R Package for Quantile and Composite Quantile Regression and Variable Selection

Matthew Pietrosanu, Jueyu Gao외 3명|arXiv (Cornell University)|2017. 09. 13.

Statistical Methods and Inference인용 수 2

한 줄 요약

이 논문은 ADMM, MM, 그리고 좌표 강하 알고리즘을 사용하여 적응형 아달라 변수 선택을 통한 강력하고 고차원의 분위수 및 복합 분위수 회귀를 구현하는 R 패키지 cqrReg를 소개한다. 이 방법들은 기존의 IP 기반 접근법에 비해 분위수 회귀 패키지 quantreg에서 특히 큰 크기 또는 고차원 설정에서 뛰어난 성능을 보이며, ADMM는 병렬 처리 잠재력이 높다.

ABSTRACT

The cqrReg package for R is the first to introduce a family of robust, high-dimensional regression models for quantile and composite quantile regression, both with and without an adaptive lasso penalty for variable selection. In this paper, we reformulate these quantile regression problems and present the estimators we implement in cqrReg using alternating direction method of multipliers (ADMM), majorize-minimization (MM), and coordinate descent (CD) algorithms. Our new approaches address the lack of publicly-available methods for (composite) quantile regression, both with and without regularization. We demonstrate the need for a variety of algorithms in later simulation studies. For comparison, we also introduce the widely-used interior point (IP) formulation and test our methods against the advanced IP algorithms in the existing quantreg package. Our simulation studies show that each of our methods, particularly MM and CD, excel in different settings such as with large or high-dimensional data sets, respectively, and outperform the methods currently implemented in quantreg. ADMM offers particular promise for future developments in its amenability to parallelization.

연구 동기 및 목표

• 고차원 설정에서 정규화를 통한 (복합) 분위수 회귀에 대해 공개적으로 이용 가능한 강력한 방법의 부족을 해결한다.
• 분위수 및 복합 분위수 회귀에 대한 변수 선택을 위한 효율적인 계산 알고리즘을 개발한다.
• 추정 및 변수 선택을 모두 지원하는 확장 가능한 오픈소스 R 패키지를 제공한다.
• novel 알고리즘(ADMM, MM, CD)의 성능을 quantreg 패키지의 내장된 점근법과 비교한다.
• 다양한 데이터 환경(대규모 및 고차원 데이터 포함)에서 여러 알고리즘의 유용성을 입증한다.

제안 방법

• ADMM, 주요화-최소화(MM), 좌표 강하(CD)와 호환되는 최적화 프레임워크를 사용해 분위수 및 복합 분위수 회귀 문제를 재정의한다.
• 분해 가능성과 수렴 성질을 활용하여 분산 및 병렬 계산을 위한 ADMM을 구현한다.
• 비미분 가능한 분위수 손실를 지배하는 볼록 함수의 반복 최소화를 통해 MM 알고리즘을 사용한다.
• 고차원 희박성에 적합하게 한 번에 하나의 매개변수만 업데이트하는 방식으로 목적 함수를 최적화하기 위해 좌표 강하를 적용한다.
• 효과적인 변수 선택을 가능하게 하기 위해 회귀 모델에 적응형 아달라 페널티를 통합한다.
• 제안된 방법을 quantreg 패키지의 내장 점근법 알고리즘과 기준 비교한다.

실험 결과

연구 질문

• RQ1 정규화가 있거나 없을 경우, ADMM, MM, 좌표 강하 알고리즘이 분위수 및 복합 분위수 회귀에서 내장 점근법과 비교해 어떻게 성능을 내는가?
• RQ2 고차원 또는 대규모 데이터 설정에서 가장 효율적이고 정확한 알고리즘은 무엇인가?
• RQ3 ADMM는 분위수 회귀에서 병렬 처리를 효과적으로 활용할 수 있는가?
• RQ4 적응형 아달라의 포함이 복합 분위수 회귀에서 변수 선택 성능을 어떻게 향상시키는가?
• RQ5 quantreg 패키지의 기존 방법과 비교해 제안된 알고리즘의 계산 및 통계적 트레이드오프는 무엇인가?

주요 결과

• 시뮬레이션 연구에서 MM 및 좌표 강하 알고리즘이 내장 점근법에 비해 고차원 및 대용량 데이터 설정에서 뛰어난 성능을 보였다.
• ADMM는 모듈식 구조 덕분에 향후 분위수 회귀에서 병렬 처리 및 분산 계산에 강력한 잠재력을 보였다.
• cqrReg에 제안된 방법은 적응형 아달라를 적용했을 때 quantreg 패키지의 내장 점근법보다 더 나은 변수 선택 성능을 달성했다.
• 적응형 아달라를 사용한 복합 분위수 회귀는 고차원 모델에서 더 높은 정확도와 희박성을 달성했다.
• 알고리즘 선택은 성능에 큰 영향을 미치며, MM은 중간에서 고차원 데이터에서 뛰어난 성능을 보이고, CD는 대규모 데이터셋에서 뛰어난 내성성을 보였다.
• cqrReg 패키지는 특히 복잡한 고차원 회귀 작업을 위한 확장 가능한 오픈소스 대안을 제공한다.