[논문 리뷰] A debiased distributed estimation for sparse partially linear models in diverging dimensions

Shaogao Lv, Heng Lian|arXiv (Cornell University)|2017. 08. 18.

Distributed Sensor Networks and Detection Algorithms인용 수 4

한 줄 요약

이 논문은 수렴하는 차원을 가진 희소 부분선형 모델을 위한 통신 효율적인 분산 학습 알고리즘을 제안한다. 이 알고리즘은 부분표본에서 비편향화된 이중정규화 최소제곱 접근법을 사용하며, 적절한 데이터 분할 조건 하에서 고차원 설정에서도 희소성과 비선형성 존재하더라도 최적의 파rametric 추정 속도를 달성한다.

ABSTRACT

Although various distributed machine learning schemes have been proposed recently for pure linear models and fully nonparametric models, little attention has been paid on distributed optimization for semi-paramemetric models with multiple-level structures (e.g. sparsity, linearity and nonlinearity). To address these issues, the current paper proposes a new communication-efficient distributed learning algorithm for partially sparse linear models with an increasing number of features. The proposed method is based on the classical divide and conquer strategy for handing big data and each sub-method defined on each subsample consists of a debiased estimation of the double-regularized least squares approach. With the proposed method, we theoretically prove that our global parametric estimator can achieve optimal parametric rate in our semi-parametric model given an appropriate partition on the total data. Specially, the choice of data partition relies on the underlying smoothness of the nonparametric component, but it is adaptive to the sparsity parameter. Even under the non-distributed setting, we develop a new and easily-read proof for optimal estimation of the parametric error in high dimensional partial linear model. Finally, several simulated experiments are implemented to indicate comparable empirical performance of our debiased technique under the distributed setting.

연구 동기 및 목표

• 희소성, 선형성, 비선형성을 동시에 고려한 반구조적 모델에 대한 분산 최적화 방법의 부족을 해결하기 위해.
• 증가하는 특성 수를 가진 고차원 부분선형 모델을 위한 통신 효율적인 분산 학습 알고리즘을 개발하기 위해.
• 적절한 데이터 분할 조건 하에서 글로벌 파arametric 추정량의 이론적 최적성 확립을 위해.
• 비분산 설정 하에서 고차원 부분선형 모델의 최적 파arametric 추정에 대해 새로운 접근법을 통해 더 단순하고 명확한 증명을 제공하기 위해.
• 모의 실험을 통해 분산 설정에서 비편향화 기법의 성능을 실증적으로 검증하기 위해.

제안 방법

• 확장 가능한 계산을 위해 데이터를 여러 머신에 분산하는 분할-통합 전략을 채택한다.
• 각 부분표본에서 이중정규화 최소제곱 추정량에 대해 비편향화 추정 절차를 적용하여 편향을 감소시킨다.
• 하나의 글로벌 추정량을 형성하기 위해 부분표본 수준의 추정량들을 가중 평균화 방식으로 조합한다.
• 비선형 성분의 매끄러움에 적응하면서도 희소성에 대해 강건한 데이터 분할 전략을 사용한다.
• 정규 조건 하에서 글로벌 추정량이 최적의 파arametric 속도를 달성함을 이론적으로 분석한다.
• 기존 접근법보다 더 단순하고 투명한 방식으로 고차원 부분선형 모델에 대한 최적 파arametric 추정에 대한 새로운 증명 기법을 도입한다.

실험 결과

연구 질문

• RQ1 분산 알고리즘이 수렴하는 차원을 가진 고차원 부분선형 모델에서 최적의 파arametric 추정을 달성할 수 있는가?
• RQ2 데이터 분할 전략의 선택이 추정 정확도에 미치는 영향은 무엇이며, 특히 비선형 성분의 매끄러움과의 관계는 어떠한가?
• RQ3 희소 부분선형 모델의 분산 설정에서 비편향화 접근법이 추정 효율성을 향상시킬 수 있는가?
• RQ4 분산 계산 조건 하에서 글로벌 추정량의 수렴 속도에 대한 이론적 보장은 무엇인가?
• RQ5 제안된 방법은 기존 방법과 비교하여 추정 정확도와 통신 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 분산 추정량은 적절한 데이터 분할 조건 하에서 최적의 파arametric 수렴 속도를 달성한다.
• 데이터 분할 전략은 비선형 성분의 매끄러움에 따라 달라지지만, 同시에 희소 수준에 적응한다.
• 특성 수가 표본 크기와 함께 수렴함에 따라에도 불구하고, 이 방법은 최적의 추정 성능 유지를 유지한다.
• 비분산 설정 하에서 고차원 부분선형 모델의 최적 파arametric 추정에 대해 더 단순한 증명이 개발되었다.
• 모의 실험 결과, 비편향화된 분산 방법이 기존 방법과 유사한 경험적 성능을 달성함을 보였다.