[논문 리뷰] DECOrrelated feature space partitioning for distributed sparse regression

Xiangyu Wang, David B. Dunson외 1명|arXiv (Cornell University)|2016. 02. 08.

Statistical Methods and Inference참고 문헌 25인용 수 16

한 줄 요약

이 논문은 고차원, 저표본 크기 설정($p \gg n$)에서 분산된 희소 회귀를 위한 당당히 평행한 프레임워크인 DECO를 제안한다. 작업자 간에 특징 공간을 분할하기 이전에 특징들을 비상관화함으로써, DECO는 파artitions의 수에 관계없이 거의 최소최대 최적에 가까운 수렴 속도를 가지며 일致한 변수 선택과 매개변수 추정을 가능하게 한다.

ABSTRACT

Fitting statistical models is computationally challenging when the sample size or the dimension of the dataset is huge. An attractive approach for down-scaling the problem size is to first partition the dataset into subsets and then fit using distributed algorithms. The dataset can be partitioned either horizontally (in the sample space) or vertically (in the feature space). While the majority of the literature focuses on sample space partitioning, feature space partitioning is more effective when $p\gg n$. Existing methods for partitioning features, however, are either vulnerable to high correlations or inefficient in reducing the model dimension. In this paper, we solve these problems through a new embarrassingly parallel framework named DECO for distributed variable selection and parameter estimation. In DECO, variables are first partitioned and allocated to $m$ distributed workers. The decorrelated subset data within each worker are then fitted via any algorithm designed for high-dimensional problems. We show that by incorporating the decorrelation step, DECO can achieve consistent variable selection and parameter estimation on each subset with (almost) no assumptions. In addition, the convergence rate is nearly minimax optimal for both sparse and weakly sparse models and does NOT depend on the partition number $m$. Extensive numerical experiments are provided to illustrate the performance of the new framework.

연구 동기 및 목표

• 특징 수 $p$가 표본 크기 $n$에 비해 크게 초과되는 경우 희소 회귀 모델을 피팅하는 데 도전하는 것.
• 기존의 특징 공간 분할 방법이 특징 상관관계에 민감하거나 차원 감소에서 비효율적인 점을 극복하는 것.
• 통계적 정확도를 유지하면서 계산 부담을 줄이는 확장 가능한 분산 프레임워크를 개발하는 것.
• 고차원 특징에서 임의의 상관관계 구조가 존재하더라도 일관된 변수 선택과 매개변수 추정을 가능하게 하는 것.

제안 방법

• 특징 행렬에 먼저 비상관화 변환을 적용한 후 분할하는 새로운 프레임워크인 DECO(비상관 특징 공간 분할)를 제안한다.
• 비상관화된 특징들을 $m$개의 부분집합으로 나누고, 이들을 $m$개의 워커에 분산 배포하여 어떤 고차원 회귀 방법을 사용해도 독립적으로 피팅한다.
• 표본 공분산 행렬의 역행렬 기반 비상관화 단계를 사용하여 특징들을 분리함으로써, 누락된 특징으로 인해 부분 모델이 잘못 지정된 경우에도 일관된 추정이 가능하게 한다.
• 모든 워커의 결과를 단순 평균화 또는 융합 규칙을 사용해 융합하여 최종 추정치를 도출하며, 이는 최적의 수렴 속도를 갖는다.
• 이론적 분석 결과, $\ell_2$ 및 $\ell_\infty$ 노름에서의 추정 오차가 전체 데이터셋을 사용했을 때 달성 가능한 최소최대 속도와 일치함을 보였다.
• 기본 펜라이즈드 회귀 방법(예: 라소)의 선택에 관계없이 프레임워크가 유연하므로 광범위하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 고차원 회귀에서 임의의 특징 상관관계에 강건한 특징 공간 분할 기법이 존재하는가?
• RQ2 특징 독립성과 같은 강력한 가정에 의존하지 않고도 최소최대 최적 수렴 속도를 달성할 수 있는 분산 프레임워크가 존재하는가?
• RQ3 각 부분 모델이 누락된 특징으로 인해 본질적으로 잘못 지정된 분산 환경에서도 일관된 변수 선택과 매개변수 추정이 가능할 수 있는가?
• RQ4 수_partitions $m$의 수에 따라 분산 프레임워크의 성능은 어떻게 변화하는가?
• RQ5 계산 효율성과 모델 선택 정확도 측면에서 전체 데이터 추정보다 프레임워크가 뛰어나게 성능을 내는가?

주요 결과

• DECO는 희소 및 약한 희소 모델 모두에서 $\ell_2$ 및 $\ell_\infty$ 노름에서 거의 최소최대 최적 수렴 속도를 달성하며, 이 속도는 파artitions의 수 $m$과 무관하다.
• 학생 성취도 데이터셋($n=395, p=741, m=5$)에서 DECO-3는 오직 1.5개의 변수를 선택한 상태에서 MSE 3.64를 기록했으며, lasso-full(MSE: 3.79)과 lasso-naive(MSE: 16.5)를 모두 뛰어넘었다.
• 영양소 기반 눈 질환 데이터셋($n=120, p=5000, m=100$)에서 DECO-3는 오직 4.3개의 특징을 선택한 상태에서 MSE 0.012를 기록했으며, lasso-full(MSE: 0.012)와 동일한 성능을 보였지만 런타임이 훨씬 줄어들어 9.6초 대비 139.0초로 약 93% 감소했다.
• 전기 부하 데이터셋($n=370, p=1,251,980, m=1000$)에서 DECO-3는 오직 4개의 변수를 선택한 상태에서 MSE 0.691을 기록했으며, lasso-naive(MSE: $3.6 \times 10^8$)와 lasso-full(MSE: 2.205)를 크게 뛰어넘었다.
• 프레임워크는 계산적으로 효율적이며, 대규모 환경에서 전체 데이터 라소 대비 최대 99%의 런타임 감소를 기록했으며, 모델 선택 정확도는 유지 또는 향상시켰다.
• 이론적 보장과 실증 결과를 통해, 독립된 특징 그룹이 존재하지 않더라도 DECO는 임의의 상관관계 구조에 대해 강건함을 입증했다.