[論文レビュー] Unsupervised Reservoir Computing for Solving Ordinary Differential Equations

Marios Mattheakis, Hayden Joy+1 more|arXiv (Cornell University)|Aug 25, 2021

Neural Networks and Reservoir Computing参考文献 45被引用数 4

ひとこと要約

本稿では、内部重みが固定された再帰的ニューラルネットワークと学習可能な線形出力層を用いて、常微分方程式（ODEs）を解くための教師なしリザボア計算（RC）フレームワークを提案する。時間微分の計算にバックプロパゲーションを用いずに、RC出力の時間微分を計算する手法を提案し、勾配降下法と組み合わせたベイズ最適化を用いてハイパーパrameterを効率的に最適化することで、線形および非線形ODEsの多様な初期条件と時間範囲において、安定した解を得た。

ABSTRACT

There is a wave of interest in using unsupervised neural networks for solving differential equations. The existing methods are based on feed-forward networks, {while} recurrent neural network differential equation solvers have not yet been reported. We introduce an unsupervised reservoir computing (RC), an echo-state recurrent neural network capable of discovering approximate solutions that satisfy ordinary differential equations (ODEs). We suggest an approach to calculate time derivatives of recurrent neural network outputs without using backpropagation. The internal weights of an RC are fixed, while only a linear output layer is trained, yielding efficient training. However, RC performance strongly depends on finding the optimal hyper-parameters, which is a computationally expensive process. We use Bayesian optimization to efficiently discover optimal sets in a high-dimensional hyper-parameter space and numerically show that one set is robust and can be used to solve an ODE for different initial conditions and time ranges. A closed-form formula for the optimal output weights is derived to solve first order linear equations in a backpropagation-free learning process. We extend the RC approach by solving nonlinear system of ODEs using a hybrid optimization method consisting of gradient descent and Bayesian optimization. Evaluation of linear and nonlinear systems of equations demonstrates the efficiency of the RC ODE solver.

研究の動機と目的

• フィードフォワードネットワークの成功にもかかわらず、教師なしODE解法に向けた再帰的ニューラルネットワーク（RNN）アプローチの不足に応える。
• エコー状態性と固定された内部重みを活用するリザボア計算（RC）フレームワークを構築し、ODEの解法に向けた高速かつ安定した学習を実現する。
• 物理的制約を組み込んだニューラルソルバーに不可欠な、バックプロパゲーションを用いずにRNN出力の時間微分を計算する課題を克服する。
• 勾配降下法とベイズ最適化（TURBO-1）を組み合わせたハイブリッド最適化戦略を設計し、高次元のハイパーパrameter空間を効率的に探索する。
• 1つの最適なハイパーパrameterセットが、異なる初期条件や時間間隔にわたって一般化可能であることを実証する。

提案手法

• エコー状態性を満たすように、確率的初期化された固定された内部重みを有するエコー状態リザボアネットワークを用いる。
• 時間微分の計算にバックプロパゲーションを用いずに、連続時間近似を提案することで、ODEの物理的制約を組み込んだ損失関数の実現を可能にする。
• 1階非同次線形ODEに対して出力重みの閉形式解を導出することで、最適化を必要としない正確な解の計算を可能にする。
• ハイブリッド最適化パイプラインを適用：ベイズ最適化（TURBO-1）でハイパーパrameter空間を探索し、非線形系に対しては勾配降下法で出力重みを微調整する。
• rcTorchと呼ばれる、埋め込み型ベイズ最適化を備えたPyTorchベースのライブラリにフレームワークを実装し、効率的な学習とハイパーパrameter最適化を可能にする。
• 時間入力 $ t $ を一様に間隔を空けて使用することで、RCの学習を制限し、PDEではなくODEに限定した現在の適用範囲を確保するが、多変数入力への拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 リザボア計算は、時間にわたるバックプロパゲーションを用いずに、教師なしODEソルバーとして適応可能か？
• RQ2 物理的制約を組み込んだ損失関数に適した、微分可能かつバックプロパゲーションを要しない再帰的ネットワーク出力の時間微分を計算することは可能か？
• RQ3 ベイズ最適化で学習された1つのハイパーパラメータセットが、異なる初期条件や時間間隔にわたって一般化可能か？
• RQ4 提案されたハイブリッド最適化（ベイズ最適化＋勾配降下法）は、非線形ODE系の最適なハイパーパラメータおよび重みを効果的かつ効率的に特定できるか？
• RQ5 線形ODEの出力重みに対して閉形式解を導出し、反復的学習を排除することで計算効率を向上できるか？

主な発見

• 提案された教師なしリザボア計算フレームワークは、バックプロパゲーションを用いない学習プロセスにより、線形および非線形ODE系を効果的に解いた。
• 1階非同次線形ODEに対して出力重みの閉形式式を導出し、最適化を必要としない正確な解の計算を可能にした。
• TURBO-1を用いたベイズ最適化により、高次元のハイパーパラメータ空間を効率的に探索し、複数の初期条件と時間範囲にわたって一般化可能な強固なハイパーパラメータセットを同定した。
• 同じ最適なハイパーパラメータ設定が、異なる時間間隔および初期条件のODEを解くのに対しても有効であったため、優れた一般化性能を示した。
• 計算コストが低く、RCフレームワークは、速度およびエネルギー効率の点で、従来のフィードフォワードニューラルネットワークソルバーを上回る可能性を示した。
• 本手法は偏微分方程式や固有値問題への拡張が可能であり、低消費電力かつ高速な特性を有するため、神経形状ハードウェアへの実装の可能性が非常に高い。