[논문 리뷰] Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network

Zheng-Chu Guo, Lei Shi외 1명|arXiv (Cornell University)|2017. 08. 06.

Neural Networks and Applications인용 수 35

한 줄 요약

이 논문은 분산 회귀에 적합한 편향 보정 정규화 커널 네트워크(Bias-Corrected Regularization Kernel Network, BCRKN)를 제안하며, 커널 기반 모델의 편향을 줄여 학습 성능을 향상시킨다. 단일 데이터 및 분산 설정 모두에서 최적의 오차 한계와 학습 속도를 확립하여 적절한 조건 하에서 최소최대 최적 수렴 속도를 달성한다.

ABSTRACT

Distributed learning is an effective way to analyze big data. In distributed regression, a typical approach is to divide the big data into multiple blocks, apply a base regression algorithm on each of them, and then simply average the output functions learnt from these blocks. Since the average process will decrease the variance, not the bias, bias correction is expected to improve the learning performance if the base regression algorithm is a biased one. Regularization kernel network is an effective and widely used method for nonlinear regression analysis. In this paper we will investigate a bias corrected version of regularization kernel network. We derive the error bounds when it is applied to a single data set and when it is applied as a base algorithm in distributed regression. We show that, under certain appropriate conditions, the optimal learning rates can be reached in both situations.

연구 동기 및 목표

• 편향이 있는 기본 알고리즘을 사용할 경우 평균화가 분산은 줄이지만 편향은 줄이지 못하는 분산 회귀에서의 편향 문제를 다루기 위해.
• 편향 보정 버전을 도입하여 분산 환경에서 정규화 커널 네트워크(RKN)의 학습 성능을 향상시키기 위해.
• 단일 및 분산 데이터 시나리오 모두에서 오차 한계와 학습 속도를 유도하여 편향 보정 RKN(BCRKN)의 이론적 타당성을 입증하기 위해.
• 표준 RKN에서 관찰되는 포화 효과를 극복하기 위해 BCRKN이 최소최대 최적 수렴 속도를 달성할 수 있음을 보여주기 위해.
• 용량과 부드러움 조건을 가정하여 오차 한계 분석을 통해 BCRKN의 분산 학습에서의 우수성을 철학적으로 기반화하기 위해.

제안 방법

• 비선형 회귀에서 추정 편향을 줄이기 위해 표준 RKN을 수정하는 편향 보정 정규화 커널 네트워크(BCRKN)를 제안한다.
• 데이터가 여러 대의 기계에 분할된 분산 학습 프레임워크에서 각 데이터 블록에 BCRKN을 기반 학습기로 적용한다.
• 모든 블록의 BCRKN 출력을 단순 평균하여 최종 글로벌 예측기로 구성함으로써 계산 효율성과 데이터 기밀성을 유지한다.
• 커널, 용량, 목표 함수의 부드러움에 대한 가정을 바탕으로 단일 데이터셋에서 BCRKN의 오차 한계를 유도한다.
• 예측 오차를 편향, 분산, 근사 성분으로 분해하여 분산 회귀에서의 일반화 오차를 분석한다.
• 통계적 학습 이론 도구, 특히 경험 과정 이론과 고유값 감쇠 가정을 활용하여 진짜 함수로부터의 기대 $ L^2 $-노름 이탈을 한계화한다.

실험 결과

연구 질문

• RQ1 정규화 커널 네트워크에서의 편향 보정이 분산 회귀에서 일반화 성능 향상에 기여할 수 있는가?
• RQ2 BCRKN이 단일 데이터 및 분산 학습 설정 모두에서 유도할 수 있는 오차 한계와 학습 속도는 무엇인가?
• RQ3 표준 부드러움 및 용량 가정 하에서 BCRKN이 최소최대 최적 학습 속도를 달성하는가?
• RQ4 증가하는 표본 크기 하에서 표준 RKN에서 관찰되는 포화 효과를 BCRKN은 어떻게 완화하는가?
• RQ5 데이터 분할 상황에서도 분산 BCRKN 프레임워크가 최적 수렴 속도를 유지할 수 있는 조건은 무엇인가?

주요 결과

• 적절한 부드러움 및 용량 조건 하에서 BCRKN은 단일 데이터 및 분산 회귀 설정 모두에서 최소최대 최적 학습 속도를 달성한다.
• 분산 학습에서 BCRKN의 오차 한계는 $ O(|D|^{-rac{2r}{2r+eta}}) $로 표현되며, 전체 데이터 케이스의 최적 속도와 일치한다.
• BCRKN은 표준 RKN의 편향을 줄여 대규모 환경에서 학습 성능을 제한하는 포화 효과를 완화한다.
• 이론적 분석을 통해 데이터가 여러 기계에 분할되어도 BCRKN이 최적 수렴을 유지함을 확인하였으며, 블록 수가 최적보다 느리게 증가할 경우에도 성립한다.
• 오차 한계 분석 결과, 분산 성분은 블록 수 $ m $ 에 따라 감소하는 반면, 편향은 독립적으로 보정되어 전체 성능 향상이 이루어진다.
• 가정 $ m riangleq |D|^{\min\{\frac{2r-1}{2r+\beta}, \frac{2}{2r+\beta}\}} $ 하에서 수렴 속도의 손실 없이 학습 속도가 최적을 유지한다.