[논문 리뷰] Bayesian optimization of hyper-parameters in reservoir computing

J. Yperman, Thijs Becker|arXiv (Cornell University)|2016. 11. 16.

Neural Networks and Reservoir Computing참고 문헌 39인용 수 13

한 줄 요약

이 논문은 은폐된 계산에서 초모수를 자동으로 튜닝하기 위해 가우시안 프로세스를 사용한 베이지안 최적화를 제안하며, 격자, 랜덤, 수동 탐색보다 뛰어난 성능을 보인다. 산타 페, NARMA-10와 같은 벤치마크 과제에서 최대 6개의 초모수를 동시에 최적화함으로써 최신 기술 수준의 성능을 달성하였으며, 전문가의 노력과 반복 횟수를 크게 줄였다.

ABSTRACT

We describe a method for searching the optimal hyper-parameters in reservoir computing, which consists of a Gaussian process with Bayesian optimization. It provides an alternative to other frequently used optimization methods such as grid, random, or manual search. In addition to a set of optimal hyper-parameters, the method also provides a probability distribution of the cost function as a function of the hyper-parameters. We apply this method to two types of reservoirs: nonlinear delay nodes and echo state networks. It shows excellent performance on all considered benchmarks, either matching or significantly surpassing results found in the literature. In general, the algorithm achieves optimal results in fewer iterations when compared to other optimization methods. We have optimized up to six hyper-parameters simultaneously, which would have been infeasible using, e.g., grid search. Due to its automated nature, this method significantly reduces the need for expert knowledge when optimizing the hyper-parameters in reservoir computing. Existing software libraries for Bayesian optimization, such as Spearmint, make the implementation of the algorithm straightforward. A fork of the Spearmint framework along with a tutorial on how to use it in practice is available at https://bitbucket.org/uhasseltmachinelearning/spearmint/

연구 동기 및 목표

• 은폐된 계산에서 수동적이고 전문가 중심의 초모수 튜닝 문제를 해결하되, 이는 시간이 오래 걸리고 상당한 영역 전문 지식이 필요하다.
• 초모수 수가 증가함에 따라 탐색 공간이 지수적으로 증가함에 따라 격자 및 랜덤 탐색이 비현실적이 되는 한계를 극복한다.
• 다양한 은폐된 계산 아키텍처와 벤치마크에서 높은 성능을 유지하면서도 자동화되고 확장 가능한 초모수 최적화 방법을 개발한다.
• 베이지안 최적화와 가우시안 프로세스가 음성 상태 네트워크(ESNs)와 비선형 지연 노드(NDNs) 양쪽 모두에서 얼마나 강건하고 효율적인지 입증한다.

제안 방법

• 초모수의 함수로 비용 함수를 확률적 함수로 모델링하기 위해 가우시안 프로세스를 사용하여 불확실성을 포착하고 정보 기반 탐색을 가능하게 한다.
• 탐색과 이용의 균형을 이루는 획득 함수를 기반으로, 베이지안 최적화를 통해 다음으로 평가할 초모수 설정을 순차적으로 선택한다.
• Spearmint 라이브러리를 활용하여 베이지안 최적화 파이프라인을 효율적으로 구현함으로써 기존 머신러닝 워크플로우에 통합할 수 있도록 한다.
• 모든 초모수 공간에 대한 비용 함수의 공동 의존성을 모델링하여 최대 6개의 초모수를 동시에 최적화한다.
• 은폐된 상태를 사용하여 독독한 가중치를 선형 회귀로 학습시켜 초모수 설정 이후 빠르고 안정적인 학습을 보장한다.
• 검증 세트를 활용하여 최적화를 이끌고 별도의 테스트 세트에서 최종 성능을 보고하여 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스를 사용한 베이지안 최적화가 은폐된 계산에서 기존의 초모수 탐색 방법(격자, 랜덤, 수동)보다 뛰어나게 작동할 수 있는가?
• RQ2 은폐된 계산에서 고차원 초모수 공간(예: 6개 이상의 파라미터)을 다룰 때 베이지안 최적화의 효과성은 어떠한가?
• RQ3 이 방법은 산타 페와 NARMA-10 과제와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ4 가우시안 프로세스의 불확실성 모델링이 히우리스틱 방법에 비해 수렴 속도를 향상시키고 평가 횟수를 줄이는 데 어떻게 기여하는가?
• RQ5 이 방법은 음성 상태 네트워크와 비선형 지연 노드와 같은 다양한 은폐된 계산 아키텍처에서 강건한가?

주요 결과

• 제안된 베이지안 최적화 방법은 이전 연구에 비해 산타 페 및 NARMA-10 벤치마크에서 최적 또는 우수한 결과를 달성하였다.
• 최적 성능에 도달하기 위해 필요한 평가 횟수를 줄여, 격자 또는 랜덤 탐색보다 더 빠른 수렴을 보였다.
• 이 방법은 최대 6개의 초모수를 동시에 최적화하는 데 성공하였으며, 조합 폭발로 인해 격자 탐색으로는 비현실적인 작업이었다.
• 기존의 전문가가 수동으로 튜닝한 설정을 포함한 문헌에서 보고된 결과와 비교해도 이 방법은 동등하거나 이를 초월하는 성능을 보였다.
• 오차 표면 분석을 통해 베이지안 최적화 과정이 복잡하고 비凸인 경계를 효과적으로 탐색하며 局부 최소값을 피하고 전역 최적해로 수렴하는 것을 확인하였다.
• 이 방법은 음성 상태 네트워크(ESNs)와 비선형 지연 노드(NDNs) 등 다양한 은폐된 계산 유형에서 강건성을 보이며, 은폐된 계산 분야에 넓은 적용 가능성을 보였다.