[논문 리뷰] Distributed High-dimensional Regression Under a Quantile Loss Function

Xi Chen, Weidong Liu외 2명|arXiv (Cornell University)|2019. 06. 13.

Statistical Methods and Inference참고 문헌 40인용 수 32

한 줄 요약

이 논문은 quantile loss를 이용한 무거운 꼬리 노이즈를 가진 고차원 회귀에 대한 분산 추정기를 개발하고, QR를 페널라이즈된 최소제곱 형태로 변환하여 효율적인 통신 및 지지 복구를 가능하게 한다.

ABSTRACT

This paper studies distributed estimation and support recovery for high-dimensional linear regression model with heavy-tailed noise. To deal with heavy-tailed noise whose variance can be infinite, we adopt the quantile regression loss function instead of the commonly used squared loss. However, the non-smooth quantile loss poses new challenges to high-dimensional distributed estimation in both computation and theoretical development. To address the challenge, we transform the response variable and establish a new connection between quantile regression and ordinary linear regression. Then, we provide a distributed estimator that is both computationally and communicationally efficient, where only the gradient information is communicated at each iteration. Theoretically, we show that, after a constant number of iterations, the proposed estimator achieves a near-oracle convergence rate without any restriction on the number of machines. Moreover, we establish the theoretical guarantee for the support recovery. The simulation analysis is provided to demonstrate the effectiveness of our method.

연구 동기 및 목표

• 무거운 꼬리 노이즈가 있는 분산 설정에서 고차원 데이터에 대한 강건한 추정을 동기화합니다.
• 계산 효율성을 위해 QR을 일반 최소제곱으로 연결하는 새로운 분산 추정기를 제안합니다.
• 상수 횟수의 반복으로 거의 오라클 수렴 속도를 달성합니다.
• 분산 QR 맥락에서 지지 회복에 대한 이론적 보장을 확립합니다.
• 그래디언트 기반 조정 체계를 통해 계산 및 통신 효율성을 보여줍니다.

제안 방법

• 퀀타일 회귀를 Lasso 기법의 동작을 가능하게 하는 의사 응답을 사용해 페널라이즈된 최소제곱 문제로 전환합니다.
• 통신이 매 이터레이션마다 p+1 차원 그라디언트만 전달되는 분산 근사 뉴턴 방법을 개발합니다.
• 변환의 일부로 제로에서의 QR 밀도를 추정하기 위해 커널 밀도 추정을 사용합니다.
• 밀도 추정치의 순차적 업데이트와 그라디언트 집계를 통해 추정기를 정교화합니다.
• 전체 공분산 행렬을 전달하지 않고 로컬 계산 및 집계된 그라디언트 유사 항을 활용합니다.
• 한 대의 머신에서의 로컬 QR 해를 통해 초기 추정기를 제공하고 다수의 분산 라운드를 통해 이를 세밀하게 다듬습니다.

실험 결과

연구 질문

• RQ1 무거운 꼬리 노이즈를 가진 고차원 회귀를 quantile loss를 사용해 분산 설정에서 효율적으로 추정할 수 있는가?
• RQ2 QR을 페널라이즈된 최소제곱 문제로 변환하면 제한된 통신으로 희소 회복 및 거의 오라클 속도에 근접한 속도를 가능하게 하는가?
• RQ3 제안된 분산 추정기에 대한 수렴 보장 및 지지 회복 조건은 최소 가정하에 어떤가?
• RQ4 분산 QR 프레임워크에서 거의 오라클 성능에 도달하는 데 필요한 반복 횟수는 얼마인가?
• RQ5 정확도를 손실 없이 대칭으로 유지하면서 큰 행렬 대신 그래디언트 정보에 의존하도록 통신을 설계하는 방법은?

주요 결과

• 의사 응답을 갖춘 분산 추정기가 QR을 제곱 손실 문제로 축소하여 효율적인 Lasso 유형 추정을 가능하게 한다.
• 메서드는 일정한 수의 반복 후 거의 오라클 수렴 속도를 달성하며 기계 수에 제약을 두지 않는다.
• 지지 회복 보장이 확립되며 beta-min 조건은 반복이 진행될수록 개선된다.
• 알고리즘은 매 이터레이션마다 p+1 차원 그라디언트만 전달하므로 대형 매트릭스 전송을 피한다.
• 극단적으로 무거운 꼬리 노이즈를 다룰 수 있으며 유한 분산 가정 없이도 작동한다.
• 초기 및 반복 단계에서 커널 밀도 추정과 로컬-원격 그라디언트 집계를 활용해 강건성 및 희소성을 확보한다.