[논문 리뷰] WONDER: Weighted one-shot distributed ridge regression in high dimensions

Edgar Dobriban, Sheng Yue|arXiv (Cornell University)|2019. 03. 21.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 고차원 데이터에 대해 분산된 리지 회귀를 효율적으로 수행하기 위한 가중치를 부여한 일회성 분산 리지 회귀 방법인 WONDER를 제안한다. 이 방법은 합이 1을 초과하는 최적의 가중치를 사용함으로써 추정 정확도를 크게 향상시키며, 리지 회귀의 수축 편향으로 인해 직관에 어긋나는 현상임에도 불구하고 성능을 개선한다. WONDER는 백만 곡 음악 데이터셋에서 중심화된 리지 회귀 대비 최대 100배 빠른 계산 속도를 달성하면서도 테스트 정확도를 유지한다.

ABSTRACT

In many areas, practitioners need to analyze large datasets that challenge conventional single-machine computing. To scale up data analysis, distributed and parallel computing approaches are increasingly needed. Here we study a fundamental and highly important problem in this area: How to do ridge regression in a distributed computing environment? Ridge regression is an extremely popular method for supervised learning, and has several optimality properties, thus it is important to study. We study one-shot methods that construct weighted combinations of ridge regression estimators computed on each machine. By analyzing the mean squared error in a high dimensional random-effects model where each predictor has a small effect, we discover several new phenomena. 1. Infinite-worker limit: The distributed estimator works well for very large numbers of machines, a phenomenon we call "infinite-worker limit". 2. Optimal weights: The optimal weights for combining local estimators sum to more than unity, due to the downward bias of ridge. Thus, all averaging methods are suboptimal. We also propose a new Weighted ONe-shot DistributEd Ridge regression (WONDER) algorithm. We test WONDER in simulation studies and using the Million Song Dataset as an example. There it can save at least 100x in computation time, while nearly preserving test accuracy.

연구 동기 및 목표

• 중앙 집중화가 불가능한 개인정보 또는 물리적 제약 조건으로 인해 데이터를 통합할 수 없는 분산된 고차원 환경에서 리지 회귀를 효율적으로 수행하는 데 도전하는 것.
• 다양한 머신에서의 국소 리지 회귀 결과를 최적의 가중치로 조합하여 일회성 분산 추정 프레임워크를 개발하는 것.
• 작은 예측 변수 효과를 가진 고차원 랜덤 효과 모델에서 분산 추정기의 평균 제곱 오차를 분석하는 것.
• 리지 회귀의 수축 편향으로 인해 최적의 가중치 합이 1을 초과하는 반직관적인 현상을 규명하고 설명하는 것.
• 최소한의 통신 및 계산 오버헤드로 근사 최적 성능을 달성하는 실용적인 알고리즘인 WONDER를 설계하고 검증하는 것.

제안 방법

• 각 머신에서 국소 데이터를 사용하여 독립적으로 리지 회귀를 수행하여 국소 추정기 $\hat{\beta}_i$ 를 생성한다.
• 최소 제곱 오차를 최소화하기 위해 유도된 가중치를 사용하여 전역 추정기 $\hat{\beta}_{\text{dist}} = \sum_{i=1}^k w_i \hat{\beta}_i$ 를 구성한다.
• 최적의 가중치는 랜덤 매트릭스 이론과 자유 확률론을 사용하여 유도되며, 편향 보정이 필요하기 때문에 $\sum w_i > 1$ 이 되는 공식을 도출한다.
• 가중치는 국소 표본 크기, 특징 차원, 정규화 파rameter에 의존하며, 스틸레지스 변환 $m_\gamma$ 를 포함하는 닫힌 형태의 표현식을 가진다.
• 이 방법은 국소 통계를 기반으로 가중치를 계산하고 단일 통신 라운드 내에서 집계하는 WONDER 알고리즘으로 구현된다.
• 이론적 분석은 i.i.d. 특징과 작은 영향을 가진 고차원 점진적 모델을 사용하여 추정 오차를 정밀하게 기술할 수 있다.

실험 결과

연구 질문

• RQ1 일회성 분산 리지 회귀에서 최적의 가중치 합이 1을 초과하는 이유는 무엇인가? 이는 표준 평균화 직관과 반대된다.
• RQ2 기계 수가 무한히 증가할 때 일회성 분산 리지 회귀의 성능 한계는 무엇인가?
• RQ3 고차원 랜덤 효과 모델에서 평균 제곱 오차를 최소화하는 최적의 가중치를 어떻게 유도할 수 있는가?
• RQ4 최소한의 통신 및 계산 오버헤드로 근사 최적 성능을 달성하는 실용적인 알고리즘을 설계할 수 있는가?
• RQ5 고차원 영역에서 분산 추정기의 위험과 최적 위험 간의 관계는 무엇인가?

주요 결과

• 최적의 가중치가 국소 리지 추정기 조합에 대해 1을 초과하는 이유는 리지 회귀의 본질적인 하향 편향 때문이며, 이는 단순 평균화가 최적의 성능을 내지 못하게 한다.
• 논문은 무한대의 작업자에 대한 '무한작업자 한계'를 확립하여, 임의로 많은 기계가 있어도 분산 추정기가 높은 성능을 유지함을 보였다.
• 제안된 WONDER 알고리즘은 백만 곡 음악 데이터셋에서 중심화된 리지 회귀 대비 최소 100배의 속도 향상을 달성하면서도 거의 동일한 테스트 정확도를 유지한다.
• 이론적 분석을 통해 분산 추정기의 渐近相對効率(ARE)는 $1/(1 + \alpha^2)$ 이하로 경계되며, $\gamma$ 와 $\alpha^2$ 에 따라 더 날카운 경계가 존재한다.
• 최적의 가중치 함수는 $\mathcal{W}(k,\gamma,\alpha) = \frac{1}{k - (k-1) \cdot \phi(k\gamma)/\alpha^2}$ 로 유도되며, 여기서 $\phi(\gamma) = \gamma m_\gamma(-\gamma/\alpha^2)$ 이다.
• 편향-분산 분해를 통한 이론적 근거를 제공하여, 수축 추정기의 경우 평균 제곱 오차를 최소화하기 위해 스케일링을 증가시켜야 함을 설명한다.