[논문 리뷰] Conditioning Optimization of Extreme Learning Machine by Multitask Beetle Antennae Swarm Algorithm

Xixian Zhang, Zhijing Yang외 4명|arXiv (Cornell University)|2018. 11. 22.

Machine Learning and ELM참고 문헌 16인용 수 4

한 줄 요약

이 논문은 극단적 학습 기계(ELM)의 조건을 최적화하기 위해 입력 가중치와 편향을 지능적으로 조정함으로써, 새로운 다중 작업 벌레 복합체 나비에 반사된 군집 알고리즘(MBAS)을 제안한다. 인공 꿀벌 군집 알고리즘과 벌레 복합체 탐색 알고리즘의 특징를 융합함으로써 MBAS는 조건 수를 감소시키고 회귀 오차를 줄여, 무작위 초기화 없이도 ELM의 일반화 능력과 안정성을 크게 향상시킨다.

ABSTRACT

Extreme learning machine (ELM) as a simple and rapid neural network has been shown its good performance in various areas. Different from the general single hidden layer feedforward neural network (SLFN), the input weights and biases in hidden layer of ELM are generated randomly, so that it only takes a little computation overhead to train the model. However, the strategy of selecting input weights and biases at random may result in ill-posed problem. Aiming to optimize the conditioning of ELM, we propose an effective particle swarm heuristic algorithm called Multitask Beetle Antennae Swarm Algorithm (MBAS), which is inspired by the structures of artificial bee colony (ABS) algorithm and Beetle Antennae Search (BAS) algorithm. Then, the proposed MBAS is applied to optimize the input weights and biases of ELM. Experiment results show that the proposed method is capable of simultaneously reducing the condition number and regression error, and achieving good generalization performances.

연구 동기 및 목표

• ELM에서 입력 가중치와 편향의 무작위 초기화로 인한 불안정 문제를 해결한다.
• 조건 최적화를 통해 ELM의 수치적 안정성과 일반화 성능을 향상시킨다.
• 고차원 탐색 공간에서 탐색과 이용의 균형을 효과적으로 유지하는 새로운 메타휴리스틱 알고리즘을 개발한다.
• 학습 중 ELM 입력 행렬의 조건 수와 회귀 오차를 동시에 최소화한다.
• 전통적인 ELM의 무작위 가중치 선택의 단점을 피하는 강력하고 효율적인 대안을 제공한다.

제안 방법

• 인공 꿀벌 군집(ABC)과 벌레 복합체 탐색(BAS)에서 영감을 얻어, 하이브리드 메타휴리스틱 알고리즘인 다중 작업 벌레 복합체 나비에 반사된 군집 알고리즘(MBAS)을 제안한다.
• MBAS 프레임워크에 다중 작업 학습 원리를 통합하여 탐색 과정의 수렴성과 다양성을 향상시킨다.
• 벌레의 사냥 행동을 모방하는 동적 탐색 전략을 사용하여, 적합도 피드백에 기반해 스텝 크기를 조정한다.
• ELM 입력 행렬의 조건 수와 학습 데이터의 회귀 오차를 조합한 적합도 함수를 정의한다.
• MBAS를 사용해 ELM의 입력 가중치와 편향을 반복적으로 최적화하여, 무작위 초기화를 지능적인 탐색으로 대체한다.
• 특수 작업에 맞는 하위집단과 적응형 학습 메커니즘을 통해 인구 다양성을 유지하여 조기 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 하이브리드 메타휴리스틱 알고리즘이 ELM 입력 행렬의 조건 수를 효과적으로 감소시킬 수 있는가?
• RQ2 MBAS를 통해 입력 가중치와 편향을 최적화하면 기존 ELM보다 더 낮은 회귀 오차를 달성할 수 있는가?
• RQ3 MBAS는 다양한 데이터셋에서 ELM의 일반화 성능을 어느 정도 향상시키는가?
• RQ4 MBAS의 다중 작업 설계는 단일 작업 변형 대비 수렴 속도와 해 품질을 어느 정도 향상시키는가?
• RQ5 제안된 방법은 다양한 복잡도의 회귀 및 분류 작업에서 강건한가?

주요 결과

• 제안된 MBAS 기반 ELM 방법은 입력 행렬의 조건 수를 크게 감소시켜 수치적 안정성을 향상시킨다.
• 모든 테스트 데이터셋에서 표준 ELM 및 기타 히وري스틱 기반 방법보다 회귀 오차가 일관되게 낮다.
• 기본 데이터셋에서의 낮은 테스트 오차율을 통해 우수한 일반화 성능을 확보했다.
• 기존 입자 군집 또는 꿀벌 군집 알고리즘에 비해 MBAS는 더 빠른 수렴 속도를 보이며 더 우수한 인구 다양성을 유지한다.
• 다중 작업 설계 덕분에 탐색과 이용의 균형이 향상되어 더 강력한 최적화 결과를 이룬다.
• 실증 결과는 조건 수와 회귀 오차의 동시 최소화가 더 신뢰성 있고 정확한 ELM 모델을 도출함을 확인한다.