[論文レビュー] Bayesian optimization of hyper-parameters in reservoir computing

J. Yperman, Thijs Becker|arXiv (Cornell University)|Nov 16, 2016

Neural Networks and Reservoir Computing参考文献 39被引用数 13

ひとこと要約

本稿では、ガウス過程を用いたベイズ最適化を提案し、リザボアールコンピューティングにおけるハイパーパrameterの自動チューニングを実現した。グリッドサーチ、ランダムサーチ、手動サーチを上回る性能を達成し、Santa FeやNARMA-10といったベンチマークタスクにおいて、最大6つのハイパーパrameterを同時に最適化することで、専門家の作業負荷とイテレーション回数を顕著に削減した。

ABSTRACT

We describe a method for searching the optimal hyper-parameters in reservoir computing, which consists of a Gaussian process with Bayesian optimization. It provides an alternative to other frequently used optimization methods such as grid, random, or manual search. In addition to a set of optimal hyper-parameters, the method also provides a probability distribution of the cost function as a function of the hyper-parameters. We apply this method to two types of reservoirs: nonlinear delay nodes and echo state networks. It shows excellent performance on all considered benchmarks, either matching or significantly surpassing results found in the literature. In general, the algorithm achieves optimal results in fewer iterations when compared to other optimization methods. We have optimized up to six hyper-parameters simultaneously, which would have been infeasible using, e.g., grid search. Due to its automated nature, this method significantly reduces the need for expert knowledge when optimizing the hyper-parameters in reservoir computing. Existing software libraries for Bayesian optimization, such as Spearmint, make the implementation of the algorithm straightforward. A fork of the Spearmint framework along with a tutorial on how to use it in practice is available at https://bitbucket.org/uhasseltmachinelearning/spearmint/

研究の動機と目的

• リザボアールコンピューティングにおける手動による専門家主導のハイパーパrameterチューニングという課題に対処すること。これは時間のかかる作業であり、顕著な分野専門知識を要する。
• ハイパーパrameter数の増加に伴い探索空間が指数関数的に増大するため、グリッドサーチやランダムサーチでは実行不可能になるという限界を克服すること。
• 多様なリザボアールアーキテクチャーやベンチマークで高い性能を維持できる、自動的かつスケーラブルなハイパーパrameter最適化手法を開発すること。
• エコー状態ネットワーク（ESNs）および非線形遅延ノード（NDNs）の両方において、ガウス過程を用いたベイズ最適化の堅牢性と効率性を示すこと。

提案手法

• ハイパーパrameterの関数としてコスト関数を確率的関数としてモデル化するため、ガウス過程を用いる。これにより不確実性を捉え、情報に基づいた探索が可能になる。
• 探索と活用のバランスを取る獲得関数に基づき、逐次的に次回に評価するハイパーパrameter設定を選択するベイズ最適化を用いる。
• Spearmintライブラリを活用してベイズ最適化パイプラインを効率的に実装し、既存の機械学習ワークフローへの統合を可能にする。
• ハイパーパrameter空間全体のコスト関数の結合的依存関係をモデル化することで、最大6つのハイパーパrameterを同時に最適化する。
• リザボアール状態に基づいて読み出し重みを線形回帰で学習させることで、ハイパーパrameter設定後の高速かつ安定した学習を確保する。
• 最適化をガイドするための検証セットを用い、一般化を確保するため、別個のテストセットで最終的な性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程を用いたベイズ最適化は、リザボアールコンピューティングにおいて、従来のハイパーパrameter探索手法（グリッドサーチ、ランダムサーチ、手動）を上回ることができるか？
• RQ2 リザボアールコンピューティングにおける高次元のハイパーパrameter空間（例：6つ以上のパラメータ）を扱う際に、ベイズ最適化はどの程度有効か？
• RQ3 本手法は、Santa FeやNARMA-10タスクといった標準ベンチマークで最先端の性能を達成できるか？
• RQ4 ガウス過程における不確実性モデリングは、ヒューリスティック手法と比較して、収束を改善し、必要な評価回数を削減するのにどのように寄与するか？
• RQ5 本手法は、エコー状態ネットワーク（ESNs）や非線形遅延ノード（NDNs）といった異なるリザボアールアーキテクチャに対して、堅牢性を示せるか？

主な発見

• 提案手法のベイズ最適化は、先行研究と比較してSanta FeおよびNARMA-10ベンチマークの両方で最適または優れた結果を達成した。
• 最適性能に到達するまでの評価回数を削減した。グリッドサーチやランダムサーチよりも収束が速いことを示した。
• 最大6つのハイパーパrameterを同時に最適化するというタスクを成功裏に達成した。これは、グリッドサーチでは組み合わせ的爆発のため実行不可能である。
• 専門家が手動でチューニングした設定で報告された結果でさえ、本手法が同等またはそれを上回った。
• 誤差面の分析から、ベイズ最適化プロセスが複雑で非凸なランドスケープを効果的に探索し、局所最適解を避けてグローバル最適解に収束することを示した。
• エコー状態ネットワーク（ESNs）および非線形遅延ノード（NDNs）の両方のリザボアールタイプに対して、本手法は堅牢であった。これは、リザボアールコンピューティングにおける広範な適用可能性を示している。