[논문 리뷰] Distributed inference for quantile regression processes

Stanislav Volgushev, Shih-Kang Chao외 1명|arXiv (Cornell University)|2017. 01. 21.

Statistical Methods and Inference참고 문헌 17인용 수 14

한 줄 요약

이 논문은 다중 컴퓨팅 유닛 간에 조건부 분위수 함수를 병렬적으로 추정하고, 이후 전반적인 분위수 회귀 과정을 위한 투영 기반 구축을 가능하게 하는 분산 추론 프레임워크를 제안한다. 최적의 컴퓨팅 유닛 수와 분위수 수준을 선택할 경우 통계적 정확도를 유지하며, 최소한의 계산 비용을 확보하기 위한 날카운 경계를 도출한다.

ABSTRACT

The increased availability of massive data sets provides a unique opportunity to discover subtle patterns in their distributions, but also imposes overwhelming computational challenges. To fully utilize the information contained in big data, we propose a two-step procedure: (i) estimate conditional quantile functions at different levels in a parallel computing environment; (ii) construct a conditional quantile regression process through projection based on these estimated quantile curves. Our general quantile regression framework covers both linear models with fixed or growing dimension and series approximation models. We prove that the proposed procedure does not sacrifice any statistical inferential accuracy provided that the number of distributed computing units and quantile levels are chosen properly. In particular, a sharp upper bound for the former and a sharp lower bound for the latter are derived to capture the minimal computational cost from a statistical perspective. As an important application, the statistical inference on conditional distribution functions is considered. Moreover, we propose computationally efficient approaches to conducting inference in the distributed estimation setting described above. Those approaches directly utilize the availability of estimators from sub-samples and can be carried out at almost no additional computational cost. Simulations confirm our statistical inferential theory.

연구 동기 및 목표

• 분위수 회귀에서 거대한 데이터셋을 분석하는 데 발생하는 계산적 과제를 해결한다.
• 분산 계산에도 불구하고 통계적 정확도를 유지하는 확장 가능한 프레임워크를 개발한다.
• 최적 성능을 위한 컴퓨팅 유닛 수와 분위수 수준 수에 대한 이론적 경계를 수립한다.
• 분산 추정기들을 활용하여 조건부 분포 함수에 대한 효율적인 통계적 추론을 가능하게 한다.
• 기존의 부분표본 추정기들을 활용하여 추론 시 추가적인 계산 비용을 최소화한다.

제안 방법

• 다중 컴퓨팅 유닛 간에 병렬적으로 여러 분위수 수준에서 조건부 분위수 함수를 추정한다.
• 분산 추정된 분위수 곡선을 이용한 투영을 통해 조건부 분위수 회귀 과정을 구성한다.
• 고정/ growing 차원 선형 모형과 시리즈 근사 모형을 모두 지원할 수 있도록 프레임워크를 구성한다.
• 통계적 효율성을 보장하기 위해 컴퓨팅 유닛 수에 대한 날카운 상한과 분위수 수준 수에 대한 날카운 하한을 도출한다.
• 부분표본에서의 추정기를 직접적으로 활용하여 추론을 수행함으로써 거의 제로에 가까운 추가 계산 비용을 확보한다.
• 분산 추정치를 통합하여 일관된 분위수 회귀 과정을 만드는 데 투영 기반 방법을 적용한다.

실험 결과

연구 질문

• RQ1 분산 분위수 회귀에서 통계적 정확도를 유지하기 위해 필요한 최소한의 컴퓨팅 유닛 수는 얼마인가?
• RQ2 추론 정확도 손실이 발생하지 않도록 하기 위해 필요한 최소한의 분위수 수준 수는 얼마인가?
• RQ3 분산 환경에서 조건부 분포 함수에 대한 추론을 어떻게 효율적으로 수행할 수 있는가?
• RQ4 분산 추정 이후에 통계적 추론을 거의 추가적인 계산 비용 없이 수행할 수 있는가?
• RQ5 제안된 방법이 중심집합 추정과 동일한 추론 정확도를 유지하는가?

주요 결과

• 적절한 컴퓨팅 유닛 수와 분위수 수준을 선택할 경우, 제안된 분산 추론 절차는 중심집합 추정과 동일한 통계적 추론 정확도를 유지한다.
• 효율성 손실을 방지하기 위해 필요한 컴퓨팅 유닛 수에 대한 날카운 상한이 도출되었다.
• 통계적 비용이 발생하지 않도록 하기 위해 필요한 분위수 수준 수에 대한 날카운 하한이 확립되었다.
• 거의 추가 계산 비용 없이 분산 추정기들만을 사용하여 조건부 분포 함수에 대한 효율적인 추론이 가능하다.
• 시뮬레이션 결과는 이론적 결과를 확인하였으며, 유도된 경계 조건 하에서 정확한 추론이 이루어짐을 보여준다.
• 프레임워크는 고정 또는 증가하는 차원을 가진 선형 모형과 시리즈 근사 모형 모두에 적용 가능하다.