[論文レビュー] Predictive Neural Networks

Frieder Stolzenburg, Olivia Michael+1 more|arXiv (Cornell University)|Feb 9, 2018

Model Reduction and Neural Networks参考文献 56被引用数 5

ひとこと要約

この論文は、線形活性化関数を用いた再帰的ニューラルネットワークに基づく予測モデルを提案する。時間関数を線形方程式系の解法によって近似することで、誤差逆伝播法の必要性を排除する。本手法は同時に重みとアーキテクチャを学習し、複数の重ね合わせ振動子（MSO）およびロボットサッカーのタスクにおいて、最小限のユニットで最先端の性能を達成する。

ABSTRACT

Recurrent neural networks are a powerful means to cope with time series. We show that already linearly activated recurrent neural networks can approximate any time-dependent function f(t) given by a number of function values. The approximation can effectively be learned by simply solving a linear equation system; no backpropagation or similar methods are needed. Furthermore the network size can be reduced by taking only the most relevant components of the network. Thus, in contrast to others, our approach not only learns network weights but also the network architecture. The networks have interesting properties: In the stationary case they end up in ellipse trajectories in the long run, and they allow the prediction of further values and compact representations of functions. We demonstrate this by several experiments, among them multiple superimposed oscillators (MSO) and robotic soccer. Predictive neural networks outperform the previous state-of-the-art for the MSO task with a minimal number of units.

研究の動機と目的

• 線形活性化関数を用いた再帰的ニューラルネットワークを用いて、任意の時間依存関数 f(t) を近似する手法を開発すること。
• 観測された関数値に基づく線形方程式系の解法により、誤差逆伝播法を回避するネットワーク学習の定式化を行うこと。
• 最も関連性の高いコンponentsのみを選択することで、ネットワーク重みとアーキテクチャの共同学習を可能にすること。
• 複雑な時系列タスク（複数の重ね合わせ振動子やロボットサッカーなど）において、本手法の有効性を実証すること。
• 安定的かつ予測可能な動的挙動（静的状態における楕円軌道など）を示すネットワークが、コンactな関数表現を可能にすること。

提案手法

• ネットワークは線形活性化関数を用いた再帰的ユニットを用い、時系列をモデル化することで、重み学習問題を解析的に解けるようにする。
• 観測された関数値から導かれる線形方程式系を解くことで、ネットワーク重みを学習し、誤差逆伝播法を回避する。
• 関数近似への寄与度に基づいて最も関連性の高いコンponentsのみを選択することで、ネットワークアーキテクチャをプルーニングする。
• 線形再帰的ネットワークが有する固有の安定性を活用し、静的状態では楕円形の軌道に収束することを示す。
• 学習済みの動的挙動を観測された時刻を超えて外挿することで、関数予測を実現する。
• 削減されたネットワークアーキテクチャから、予測精度を保持したままコンパクトな関数表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 離散的な関数値の観測が与えられた場合、線形活性化関数を用いた再帰的ネットワークは任意の時間依存関数 f(t) を近似可能か？
• RQ2 観測値に基づく線形方程式系の解法により、誤差逆伝播法を用いずにネットワークを学習可能か？
• RQ3 ネットワークアーキテクチャを、関連性の高いコンponentsのみを保持するように自動的にプルーニング可能か？
• RQ4 長期間にわたり、安定的かつ予測可能な動的挙動（例：静的状態での楕円軌道）を示すか？
• RQ5 MSO やロボットサッカーといった複雑な時系列タスクにおいて、既存の最先端手法を上回る性能を発揮可能か？

主な発見

• 線形活性化関数を用いた再帰的ネットワークは、有限個の関数値が与えられれば、任意の時間依存関数 f(t) を近似可能である。
• 学習は線形方程式系の解法により実現され、誤差逆伝播法が不要となり、トレーニングの複雑さが顕著に低減される。
• 本手法により、ネットワーク重みとアーキテクチャの共同学習が可能となり、予測精度を高めた最小限のネットワークサイズが得られる。
• 静的状態では、ネットワークの動的挙動は安定した楕円軌道に収束し、システムの固有の安定性を示している。
• 複数の重ね合わせ振動子（MSO）タスクにおいて、先行手法よりも少ないユニット数で最先端の性能を達成した。
• ネットワークは将来の関数値の正確な予測を可能とし、時系列関数のコンパクトで意味のある表現を可能にした。