[논문 리뷰] Is Extreme Learning Machine Feasible? A Theoretical Assessment (Part II)

Shaobo Lin, Xia Liu외 2명|arXiv (Cornell University)|2014. 01. 24.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 극단적 학습 기계(ELM)의 이론적 타당성을 평가하며, ELM이 은닉층 가중치를 무작위로 설정함으로써 계산 비용을 줄이지만, 두 가지 핵심적인 단점이 있음을 보여준다: (1) 무작위성으로 인한 근사 및 학습의 본질적 불확실성, 그리고 (2) 가우시안형 활성화 함수를 사용할 경우 일반화 성능 저하. 연구는 ELM이 가우시안 커널을 사용할 경우 표준 FNN보다 성능이 열 劣하다는 것을 증명하지만, 계수 정규화와 다중 학습 시도를 통해 이를 보완할 수 있으며, 이로써 기대값 기반 최적의 학습 속도를 회복할 수 있다.

ABSTRACT

An extreme learning machine (ELM) can be regarded as a two stage feed-forward neural network (FNN) learning system which randomly assigns the connections with and within hidden neurons in the first stage and tunes the connections with output neurons in the second stage. Therefore, ELM training is essentially a linear learning problem, which significantly reduces the computational burden. Numerous applications show that such a computation burden reduction does not degrade the generalization capability. It has, however, been open that whether this is true in theory. The aim of our work is to study the theoretical feasibility of ELM by analyzing the pros and cons of ELM. In the previous part on this topic, we pointed out that via appropriate selection of the activation function, ELM does not degrade the generalization capability in the expectation sense. In this paper, we launch the study in a different direction and show that the randomness of ELM also leads to certain negative consequences. On one hand, we find that the randomness causes an additional uncertainty problem of ELM, both in approximation and learning. On the other hand, we theoretically justify that there also exists an activation function such that the corresponding ELM degrades the generalization capability. In particular, we prove that the generalization capability of ELM with Gaussian kernel is essentially worse than that of FNN with Gaussian kernel. To facilitate the use of ELM, we also provide a remedy to such a degradation. We find that the well-developed coefficient regularization technique can essentially improve the generalization capability. The obtained results reveal the essential characteristic of ELM and give theoretical guidance concerning how to use ELM.

연구 동기 및 목표

• ELM의 경험적 성공을 넘어서 이론적으로 ELM의 타당성을 평가하기 위해.
• 은닉층에서의 ELM 무작위 가중치 할당이 초래하는 부정적 영향을 조사하기 위해.
• 일부 활성화 함수 하에서 ELM이 일반화 능력을 떨어뜨릴 수 있는지 확인하기 위해.
• ELM에서 발생하는 불확실성과 일반화 성능 저하 문제에 대한 해결책을 제안하기 위해.
• ELM에서 활성화 함수 선택과 정규화 전략 수립을 위한 이론적 기반을 확립하기 위해.

제안 방법

• 일반화 오차와 근사 오차에 중점을 두고 통계학적 학습 이론 프레임워크 내에서 ELM을 분석한다.
• 집중 부등식과 정규화 기법을 사용하여 기대 일반화 오차의 상한을 구한다.
• 출력 가중치 학습의 안정화와 일반화 향상을 위해 $l^2$ 계수 정규화를 적용한다.
• 무작위 가중치 초기화로 인한 불확실성 완화를 위해 다중 학습 시도를 활용한다.
• 표본에 의존하는 가설 공간과 커널 기반 학습 모델을 사용하여 이론적 오차 상한을 유도한다.
• 정규화 없이 가우시안 커널을 사용한 ELM과 표준 FNN을 비교하여 ELM의 최적 수렴 속도가 아니라는 것을 보여준다.

실험 결과

연구 질문

• RQ1 ELM의 은닉층 가중치에 대한 무작위성은 근사 및 학습 모두에서 불확실성 문제를 유발하는가?
• RQ2 무작위 가중치 할당이 이루어져도 일부 활성화 함수 하에서 ELM의 일반화 능력이 떨어질 수 있는가?
• RQ3 가우시안형 활성화 함수를 사용한 ELM의 일반화 성능은 표준 FNN보다 열 劣한가?
• RQ4 $l^2$ 정규화가 ELM에서 최적의 학습 속도를 복원할 수 있는가, 특히 가우시안 커널의 경우에?
• RQ5 활성화 함수의 어떤 조건이 ELM의 일반화 능력 저하 또는 유지 여부를 결정하는가?

주요 결과

• 이론적 비교를 통해 가우시안형 활성화 함수를 사용한 ELM는 표준 FNN보다 일반화 능력이 열 劣함을 입증하였다.
• 동일한 조건 하에서 ELM의 일반화 오차는 FNN보다 본질적으로 열 劣하다.
• 다중 학습 시도는 ELM의 불확실성 문제를 효과적으로 완화하며, 단일 실행에서의 실패 위험을 줄인다.
• 출력 가중치에 $l^2$ 계수 정규화를 적용하면 ELM가 기대값 기반 거의 최적의 학습 속도를 달성할 수 있으며, FNN 성능과 동일하게 할 수 있다.
• 정규화된 ELM의 이론적 오차 상한은 $O(m^{-\frac{2r}{2r+d} + \varepsilon})$ 스케일을 가지며, 정규화가 적절히 조정되면 FNN의 최적 속도에 가까워진다.
• 활성화 함수의 일반화 능력에 미치는 영향을 기반으로 한 분류 기준은 아직 열려 있는 문제이지만, 본 논문은 향후 연구를 위한 기반을 마련하였다.