[논문 리뷰] Debiased distributed learning for sparse partial linear models in high dimensions

Shaogao Lv, Heng Lian|arXiv (Cornell University)|2017. 08. 18.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 12

한 줄 요약

이 논문은 높은 차원의 희소 부분선형 모형을 위한 통신 효율적이고 비편향된 분산 학습 알고리즘을 제안한다. 분할-통합 프레임워크를 사용하여 각 하위표본에서 이중 정규화 최소제곱에 비편향 추정을 적용함으로써, 조건이 희소성과 연속성 제약을 포함하는 고차원 및 비모수적 설정에서도 전역 추정기의 최적 파rametric 수렴 속도를 달성한다.

ABSTRACT

Although various distributed machine learning schemes have been proposed recently for pure linear models and fully nonparametric models, little attention has been paid on distributed optimization for semi-paramemetric models with multiple-level structures (e.g. sparsity, linearity and nonlinearity). To address these issues, the current paper proposes a new communication-efficient distributed learning algorithm for partially sparse linear models with an increasing number of features. The proposed method is based on the classical divide and conquer strategy for handing big data and each sub-method defined on each subsample consists of a debiased estimation of the double-regularized least squares approach. With the proposed method, we theoretically prove that our global parametric estimator can achieve optimal parametric rate in our semi-parametric model given an appropriate partition on the total data. Specially, the choice of data partition relies on the underlying smoothness of the nonparametric component, but it is adaptive to the sparsity parameter. Even under the non-distributed setting, we develop a new and easily-read proof for optimal estimation of the parametric error in high dimensional partial linear model. Finally, several simulated experiments are implemented to indicate comparable empirical performance of our debiased technique under the distributed setting.

연구 동기 및 목표

• 고차원 설정에서 희소성, 선형성, 비선형성을 동시에 고려한 반모수적 모형을 위한 분산 학습 방법의 부족을 해결하기 위해.
• 다중 머신에 분산된 데이터에 대해 통신 효율적이면서도 통계적 최적성을 유지하는 분산 알고리즘을 개발하기 위해.
• 고차원 희소 부분선형 모형에서 전역 추정기의 수렴 속도에 대한 이론적 보장을 수립하기 위해.
• 비분산 설정에서 고차원 부분선형 모형에 대한 최적 파arametric 추정의 새로운 간단한 증명을 제공하기 위해.
• 다양한 데이터 분할 방식에서 시뮬레이션을 통해 제안된 비편향 분산 방법의 실증 성능을 검증하기 위해.

제안 방법

• 이 방법은 전체 데이터셋을 m개의 하위표본으로 나누어 m台의 머신에 분산 배포하는 분할-통합 전략을 사용한다.
• 각 로컬 머신은 선형 성분에 대해 Lasso 페널티를, 비선형 성분에 대해 재생핵 힐버트 공간(RKHS) 노름을 적용한 이중 정규화 최소제곱 목적함수 기반의 비편향 추정기를 계산한다.
• 전역 추정기는 비편향된 국소 추정치의 평균을 취하여 정규화에 의해 유도된 편향을 감소시킨다.
• 이론적 분석은 농도 불등식과 가우시안 과정 경계를 활용하여 경험 과정의 편차를 통제하고 균일 수렴을 보장한다.
• 이 방법은 비선형 성분의 본질적 연속성에 적응하면서도 선형 성분의 희소성 수준에 대해 강건하다.
• 고차원 설정에서 n < p인 하위표본에서도 최적 파arametric 수렴 속도를 확립하기 위해 개선된 증명 기법을 개발하였다.

실험 결과

연구 질문

• RQ1 고차원 희소 부분선형 모형에서 분산 학습 알고리즘이 최적 파arametric 수렴 속도를 달성할 수 있는가?
• RQ2 비선형 성분의 연속성 수준이 다양할 경우, 데이터 분할 방법의 선택이 추정 정확도에 미치는 영향은 무엇인가?
• RQ3 희소성이 있는 고차원 설정에서 분산 추정기의 성능에 대해 비편향화가 미치는 영향은 무엇인가?
• RQ4 희소성, 선형성, 비선형성 등의 다중 구조 성분을 포함한 반모수적 모형에서 분산 추정을 위한 통합 이론 프레임워크를 수립할 수 있는가?
• RQ5 제안된 방법은 기존의 분산 또는 비분산 추정기와 비교하여 추정 정확도와 통신 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 적절한 데이터 분할 조건 하에서 전역 선형 추정기는 하위표본에서 특징 수 p가 표본 크기 n을 초과하는 경우에도 최적 파arametric 수렴 속도를 달성한다.
• 이 방법은 선형 성분의 희소성 매개수에 적응하여 진정한 희소성 수준과 관계없이 최적 성능을 유지한다.
• 이론적 분석은 비편향 평균화 절차가 정규화에 의해 발생하는 편향을 성공적으로 제거하여 渐近적으로 정규 분포를 가진 추정을 가능하게 함을 확인한다.
• 데이터 분할 방법은 비선형 성분의 연속성 수준에 따라 달라지지만, 이 방법은 희소성 수준의 변동에 대해 강건하다.
• 시뮬레이션 결과 제안된 방법이 분산 환경에서 기준 방법과 비교해 유사하거나 더 뛰어난 실증 성능을 보였다.
• 기존 이론 결과의 명료성과 접근성을 향상시키기 위해 고차원 부분선형 모형에서 최적 추정을 위한 새로운 간단한 증명이 제시되었다.