[논문 리뷰] Hierarchical Learning Algorithm for the Beta Basis Function Neural Network

Habib Dhahri, Adel M. Alimi|arXiv (Cornell University)|2012. 10. 30.

Neural Networks and Applications참고 문헌 6인용 수 10

한 줄 요약

이 논문은 비선형 함수 근사에서 최적의 파라미터 선택 문제를 해결하기 위해 계층적 학습 알고리즘(HLABBFNN)을 제안한다. 이 알고리즘은 상위 수준에서 유전자 알고리즘(GA)을 사용해 네트워크 구조를 최적화하고, 하위 수준에서 기울기 기반 학습을 통해 폭, 중심, 베타 형상 파라미터를 조정한다. 기존 방법에 비해 훨씬 뛰어난 비선형 함수 근사 성능을 달성한다.

ABSTRACT

The paper presents a two-level learning method for the design of the Beta Basis Function Neural Network BBFNN. A Genetic Algorithm is employed at the upper level to construct BBFNN, while the key learning parameters :the width, the centers and the Beta form are optimised using the gradient algorithm at the lower level. In order to demonstrate the effectiveness of this hierarchical learning algorithm HLABBFNN, we need to validate our algorithm for the approximation of non-linear function.

연구 동기 및 목표

• 비선형 함수 근사에 있어 베타 기반 함수 신경망(BBFNN)의 최적 파라미터 선택 문제를 해결하기 위해.
• 글로벌 최적화 전략과 로컬 최적화 전략을 통합하여 학습 효율성과 근사 정확도를 향상시키기 위해.
• 유전자 알고리즘의 전역 탐색 능력과 기울기 기반 방법의 빠른 수렴 특성을 조합한 이중 수준의 학습 프레임워크를 개발하기 위해.
• 비선형 함수 근사 과제에서 계층적 접근의 효과성을 철저한 테스트를 통해 검증하기 위해.

제안 방법

• 이중 수준 학습 아키텍처를 사용한다: 상위 수준에서 유전자 알고리즘(GA)이 네트워크 구조와 핵심 파라미터를 진화시킨다.
• 하위 수준에서 기울기 기반 최적화 알고리즘이 BBFNN의 파라미터(중심, 폭, 베타 형상 인자)를 정밀 조정한다.
• BBFNN는 비선형성을 모델링하는 데 있어 유연한 베타 기반 함수를 활성화 단위로 사용한다.
• 계층적 접근은 전역 탐색(GA)과 국소 정밀 조정(기울기 하강법)을 번갈아 적용하여 局부 최소값을 피하고 수렴 속도를 가속화한다.
• 알고리즘은 벤치마크 비선형 함수 근사 문제에 대해 구현되고 테스트된다.
• 파라미터 갱신은 반복적으로 수행되며, GA가 후보 해를 생성하고 기울기 하강법이 이를 정밀 조정한다.

실험 결과

연구 질문

• RQ1 유전자 알고리즘과 기울기 하강법을 조합한 계층적 학습 전략이 BBFNN의 비선형 함수 근사 성능을 향상시킬 수 있는가?
• RQ2 글로벌 최적화와 로컬 최적화의 통합이 BBFNN 학습의 수렴성과 정확도에 어떻게 기여하는가?
• RQ3 베타 형상 인자, 중심, 폭을 동시에 최적화함으로써 근사 품질에 어떤 영향을 미치는가?
• RQ4 제안된 HLABBFNN은 표준 BBFNN 및 기타 신경망 모델보다 함수 근사 과제에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 계층적 학습 알고리즘이 비선형 함수 근사 과제에서 BBFNN의 근사 정확도를 크게 향상시킨다.
• 유전자 알고리즘과 기울기 기반 최적화의 조합은 단독으로 사용할 경우보다 더 빠른 수렴과 더 나은 일반화 성능을 제공한다.
• 베타 형상 인자, 중심, 폭을 조율하여 최적화함으로써 네트워크가 복잡한 비선형성을 더 잘 모델링할 수 있는 능력이 향상된다.
• 제안된 HLABBFNN는 다양한 벤치마크 비선형 함수에서 뛰어난 성능을 보이며, 기존의 전통적 학습 방법을 능가한다.