[논문 리뷰] Distributed learning with regularized least squares

Shao-Bo Lin, Xin Guo외 1명|arXiv (Cornell University)|2016. 08. 11.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 72

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 정규화된 최소 제곱법을 사용하는 분산 학습 알고리즘을 제안한다. 데이터는 기계 간에 분할되며, 국소 모델은 독립적으로 학습되고, 가중 평균을 통해 글로벌 예측기로 조합된다. 주요 기여는 연산자 차이의 새로운 2차 분해 기법으로, $L^2$ 및 RKHS 노름에서 기대값에 대한 날카운 오차 한계를 확립함으로써, 고유함수 가정 없이도 분산 추정기가 중심화된 해에 매우 가까이 수렴함을 보이며, 일반 커널에 대해 기존의 최고 성능을 기록한 학습률을 달성한다.

ABSTRACT

We study distributed learning with the least squares regularization scheme in a reproducing kernel Hilbert space (RKHS). By a divide-and-conquer approach, the algorithm partitions a data set into disjoint data subsets, applies the least squares regularization scheme to each data subset to produce an output function, and then takes an average of the individual output functions as a final global estimator or predictor. We show with error bounds in expectation in both the $L^2$-metric and RKHS-metric that the global output function of this distributed learning is a good approximation to the algorithm processing the whole data in one single machine. Our error bounds are sharp and stated in a general setting without any eigenfunction assumption. The analysis is achieved by a novel second order decomposition of operator differences in our integral operator approach. Even for the classical least squares regularization scheme in the RKHS associated with a general kernel, we give the best learning rate in the literature.

연구 동기 및 목표

• 재생 커널 힐버트 공간(RKHS)에서 정규화된 최소 제곱법을 사용한 분산 학습의 일반화 성능을 분석하는 것.
• 적분 연산자에 대한 고유함수 가정 없이, 국소 모델의 평균으로 유도된 글로벌 추정기의 기대값에 대한 오차 한계를 확립하는 것.
• 더 날카운 오차 분석을 가능하게 하기 위해 연산자 차이의 새로운 2차 분해 기법을 개발하는 것.
• 일반 커널 설정에서 고전적인 정규화된 최소 제곱법의 최고 성능을 기록한 학습률을 유도하는 것.

제안 방법

• 전체 데이터셋 $D$를 $m$개의 상호배타적 부분집합 $\{D_j\}_{j=1}^m$으로 분할하여 분산 처리한다.
• 커널 $K$와 정규화 파rameter $\lambda$를 사용하여 각 부분집합 $D_j$에 대해 정규화된 최소 제곱 추정기 $f_{D_j,\lambda}$를 적용한다.
• 국소 추정기의 가중 평균으로 글로벌 추정기 $\overline{f}_{D,\lambda} = \sum_{j=1}^m \frac{|D_j|}{|D|} f_{D_j,\lambda}$를 구성한다.
• 실증적 및 인구 적분 연산자를 이용해 $\overline{f}_{D,\lambda} - f_{D,\lambda}$의 차이를 표현하기 위해 적분 연산자 접근법을 사용한다.
• 기대 오차를 $L^2$ 및 RKHS 노름에서 유한하게 제한하기 위해 연산자 차이의 새로운 2차 분해 기법을 도입한다.
• 농도 불등식과 효과적 차원 $\mathcal{N}(\lambda)$에 대한 트레이스 기반 한계를 활용하여 고확률 및 기대값 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 분산 환경에서 국소적으로 학습된 정규화된 최소 제곱 모델의 평균이 전체 데이터셋에 대해 학습된 모델을 얼마나 잘 근사하는가?
• RQ2 적분 연산자의 고유함수 전개를 가정하지 않고도 분산 정규화된 최소 제곱법에 대해 날카운 오차 한계를 확립할 수 있는가?
• RQ3 메르서 커널을 가진 일반 RKHS 설정에서 정규화된 최소 제곱법의 최적 학습률은 무엇인가?
• RQ4 제안된 연산자 차이의 2차 분해 기법은 이전 방법에 비해 오차 분석을 어떻게 향상시키는가?
• RQ5 오차 한계는 분할 수 $m$, 표본 크기 $N$, 정규화 파rameter $\lambda$에 대해 어떻게 의존하는가?

주요 결과

• 제안된 분산 학습 알고리즘은 고유함수 가정 없이도 중심화된 정규화된 최소 제곱법의 최고 성능을 기록한 오차 한계를 기대값에서 달성한다.
• $L^2$-노름에서의 오차는 $\mathcal{O}\left(\frac{\kappa^2 \mathcal{N}(\lambda)}{N\lambda}\right)$로 유한하며, 여기서 $\kappa$는 커널의 Supremum이고 $\mathcal{N}(\lambda)$는 효과적 차원이다.
• RKHS 노름에서의 오차는 $\mathcal{O}\left(\frac{\kappa^2 \mathcal{N}(\lambda)}{N}\right)$로 유한하며, 이는 글로벌 추정기가 본질적 공간에서 진짜 함수에 매우 가까이 있음을 보여준다.
• 논문은 일반 커널을 사용하는 정규화된 최소 제곱법에 대해 기존 문헌에서 기록한 바 없는 최고의 학습률을 확립하였으며, 약한 조건 하에서 $\mathcal{O}(N^{-1})$의 학습률을 달성한다.
• 연산자 차이의 2차 분해 기법은 이전 접근법보다 더 날카운 한계를 가능하게 하며, 특히 고차원 또는 조건이 나쁜 설정에서 유리하다.
• 유한 표본 조건 하에서 강건성을 확보하기 위해 $\log(2/\delta)$를 포함하는 새로운 농도 불등식을 사용하여 고확률 한계를 도출하였다.