[논문 리뷰] Constrained Extreme Learning Machines: A Study on Classification Cases

Wentao Zhu, Jun Miao외 1명|arXiv (Cornell University)|2015. 01. 25.

Machine Learning and ELM참고 문헌 54인용 수 16

한 줄 요약

이 논문은 기존 ELM에서 완전히 무작위로 은닉 뉴런을 선택하는 방식이 아닌, 표본 분포에서 유도된 제약된 벡터 공간에서 은닉 뉴런을 선택함으로써 분류에서 일반화 성능을 향상시키는 새로운 접근법인 제약된 극단적 학습기계(CELMs)를 제안한다. 이 방법은 표준 ELM, SVM 및 관련 방법보다 높은 정확도를 달성하면서도 ELM의 빠른 학습 속도를 유지한다.

ABSTRACT

Extreme learning machine (ELM) is an extremely fast learning method and has a powerful performance for pattern recognition tasks proven by enormous researches and engineers. However, its good generalization ability is built on large numbers of hidden neurons, which is not beneficial to real time response in the test process. In this paper, we proposed new ways, named "constrained extreme learning machines" (CELMs), to randomly select hidden neurons based on sample distribution. Compared to completely random selection of hidden nodes in ELM, the CELMs randomly select hidden nodes from the constrained vector space containing some basic combinations of original sample vectors. The experimental results show that the CELMs have better generalization ability than traditional ELM, SVM and some other related methods. Additionally, the CELMs have a similar fast learning speed as ELM.

연구 동기 및 목표

• 분류 작업을 위한 극단적 학습기계(ELM)에서 일반화 성능와 계산 효율성 사이의 상충 관계를 해결하기 위해.
• 일반화 능력을 훼손하지 않으면서도 ELM에서 필요한 은닉 뉴런의 수를 줄이기 위해.
• 표본 분포를 기반으로 한 구조적 제약을 도입함으로써 ELM에서 은닉 뉴런의 무작위 선택 방식을 개선하기 위해.
• 분류 정확도를 향상시키면서도 ELM의 빠른 학습 속도를 유지하는 방법을 개발하기 위해.
• 분류 벤치마크에서 제안된 방법을 ELM, SVM 및 기타 관련 알고리즘과 비교하여 검증하기 위해.

제안 방법

• CELMs는 원본 학습 샘플의 기본 조합을 사용하여 구성된 제약된 벡터 공간에서 은닉 뉴런을 선택한다.
• 제약된 벡터 공간은 입력 벡터의 선형 조합을 통해 형성되며, 선택된 뉴런이 근본적인 데이터 분포를 대표하도록 보장한다.
• 은닉 뉴런의 가중치와 편향은 무작위로 생성되지만, 이들가 정의된 공간 내에 위치하도록 제약되어 표현 품질을 향상시킨다.
• 출력 가중치는 최소제곱 해법을 사용하여 계산되며, 이로 인해 ELM의 빠른 학습 특성을 유지한다.
• 이 방법은 ELM의 단일층 피드포워드 네트워크 구조를 유지하지만, 구조적 초기화를 통해 특징 표현을 향상시킨다.
• 제약된 선택 과정은 뉴런들이 중요한 데이터 패턴을 잘 포착하도록 유도함으로써 부정확성과 중복을 줄이고 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 ELM에서 은닉 뉴런의 선택을 제약함으로써 분류 작업에서 일반화 성능를 향상시킬 수 있는가?
• RQ2 제안된 제약된 선택 방법은 정확도를 유지하거나 향상시키면서도 필요한 은닉 뉴런의 수를 줄일 수 있는가?
• RQ3 정확도와 속도 측면에서 CELMs의 성능은 기존 ELM, SVM 및 기타 관련 방법과 비교해 어떻게 되는가?
• RQ4 제약된 벡터 공간의 구조가 CELMs의 학습 성능에 얼마나 큰 영향을 미치는가?
• RQ5 CELMs가 ELM의 빠른 학습 속도를 유지하면서도 더 나은 일반화를 달성할 수 있는가?

주요 결과

• CELMs는 다양한 분류 데이터셋에서 기존 ELM보다 더 뛰어난 일반화 성능를 보였다.
• 제안된 방법은 벤치마크 데이터셋에서 SVM 및 기타 관련 방법보다 분류 정확도에서 뛰어났다.
• CELMs는 ELM가 특징으로 가지는 빠른 학습 속도를 유지하여 실시간 응용에 적합하다.
• 은닉 뉴런의 제약된 선택은 개선된 특징 표현을 이끌어내어 대규모 뉴런 수가 필요로 하는 상황을 줄였다.
• 실험 결과, 표준 ELM에 비해 더 적은 은닉 뉴런 수로도 CELMs는 더 높은 정확도를 달성하였다.
• 제약된 벡터 공간은 뉴런 초기화 시 의미 있는 데이터 조합에 집중함으로써 모델 성능을 크게 향상시켰다.