[논문 리뷰] Constructive neural network learning

Shao-Bo Lin, Jinshan Zeng외 1명|arXiv (Cornell University)|2016. 04. 30.

Machine Learning and ELM참고 문헌 34인용 수 3

한 줄 요약

이 논문은 보편적인 확장 가능한 학습 시스템인 구조적 피드포워드 신경망(CFN)을 제안한다. 이는 보로노이 분할과 랜드베르그 유형의 반복 방법을 사용하여 데이터로부터 직접 신경망 파라미터를 구성함으로써 고전적인 포화 문제를 극복하고 부드러운 회귀 함수에 대해 최적의 학습률을 달성한다. 이는 기존의 FNN과 RLS 및 ELM와 같은 최첨단 방법보다 이론적·시뮬레이션적으로 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we aim at developing scalable neural network-type learning systems. Motivated by the idea of "constructive neural networks" in approximation theory, we focus on "constructing" rather than "training" feed-forward neural networks (FNNs) for learning, and propose a novel FNNs learning system called the constructive feed-forward neural network (CFN). Theoretically, we prove that the proposed method not only overcomes the classical saturation problem for FNN approximation, but also reaches the optimal learning rate when the regression function is smooth, while the state-of-the-art learning rates established for traditional FNNs are only near optimal (up to a logarithmic factor). A series of numerical simulations are provided to show the efficiency and feasibility of CFN via comparing with the well-known regularized least squares (RLS) with Gaussian kernel and extreme learning machine (ELM).

연구 동기 및 목표

• 거대한 데이터에 적합한 확장 가능하고 효율적인 피드포워드 신경망(FNN) 학습 시스템을 개발하기 위해.
• 기울기 기반 및 랜덤화 기반 FNN 학습 방법의 한계, 즉 국소 최소값, 높은 계산 비용, 일반화 성능 저하 문제를 해결하기 위해.
• 부드러운 회귀 함수일 경우 학습률이 제한되는 고전적인 FNN 근사에서의 포화 문제를 극복하기 위해.
• 근사 이론의 구조적 기법과 통계적 局소 평균화, 반복 정밀화를 융합하여 일반화 성능과 수렴 성능를 향상시키기 위해.
• 부드러운 함수에 대해 이론적으로 최적의 학습률을 확립하여 로그 인자 없이 가능한 한 최고의 수렴 속도를 달성하기 위해.

제안 방법

• 우수한 기하적 분포를 가진 중심점을 사용하여 데이터로부터 직접 FNN 파라미터를 구성함으로써 반복 학습을 피한다.
• 선택된 중심점을 바탕으로 보로노이 분할을 적용하여 입력 데이터를 그룹화하고 국소 영역을 정의하여 평균화를 수행한다.
• 근사 이론에서 유래한 구조적 근사 방법을 사용하여 높은 근사 정확도를 가진 초기 FNN을 구축한다.
• FNN 근사에서 발생하는 포화 현상에 대비해 랜드베르그 유형의 반복 정밀화 과정을 도입한다.
• 각 보로노이 셀 내에서 커널 유사 가중치를 사용한 국소 평균화를 적용하여 분산을 감소시키고 노이즈에 대한 내성을 향상시킨다.
• 다변수 평균값 정리, 함수의 미분 가능성, 경험 위험의 확률적 분석을 융합하여 이론적 수렴 경계를 유도한다.

실험 결과

연구 질문

• RQ1 기존 학습 방식의 계산 부담을 피하면서도 높은 일반화 성능를 유지할 수 있는 구조적 FNN 학습 시스템을 설계할 수 있는가?
• RQ2 제안된 CFN 방법이 부드러운 회귀 함수에 대해 FNN 근사에서 발생하는 고전적인 포화 문제를 극복할 수 있는가?
• RQ3 CFN의 학습률이 기존 FNN들과 달리 로그 인자를 포함하지 않고 최적의 비율을 달성할 수 있는가?
• RQ4 보로노이 분할과 랜드베르그 반복의 융합이 노이즈가 많은 데이터 환경에서 일반화 성능를 어떻게 향상시키는가?
• RQ5 수치적 비교를 통해 CFN 방법이 대규모 데이터에 대해 확장 가능하고 효과적인가?

주요 결과

• CFN은 부드러운 회귀 함수에 대해 부드러움의 정도 $ s $ 에 따라 순서 $ m^{-2s/(2s+d)} $ 의 최적 학습률을 달성한다. 이는 로그 인자를 포함하지 않는 최고의 가능한 수렴 속도이다.
• 기존에 $ s > 1 $ 일 경우 학습률이 제한되던 FNN 근사에서의 고전적 포화 문제를 극복한다.
• 이론적 분석을 통해 기대 일반화 오차가 $ \mathbb{E}[\|\widetilde{N_{n,w}^{r}} - f_{\rho}\|_{\rho}^{2}] \leq C'''' m^{-2s/(2s+d)} $ 를 만족함을 증명하여 최적 수렴을 확인한다.
• 수치 시뮬레이션 결과, CFN은 가우시안 커널을 사용한 정규화된 최소 제곱법(RLS)과 극단적 학습 기계(ELM)보다 학습 정확도와 효율성 면에서 뛰어나다.
• 보로노이 분할과 국소 평균화의 사용은 분산을 크게 감소시키고, 특히 일부 샘플만을 사용할 경우 노이즈에 대한 강건성을 향상시킨다.
• 랜드베르그 유형의 반복 정밀화 단계는 포화 효과를 성공적으로 제거하여 이전의 구조적 FNN 이론적 한계를 초월한 성능 향상을 가능하게 한다.