[論文レビュー] Neural network design for J function approximation in dynamic programming

Xiaohui Pang, Paul J. Werbos|arXiv (Cornell University)|Jun 3, 1998

Neural Networks and Applications参考文献 9被引用数 58

ひとこと要約

本稿では、近似動的プログラミング（ADP）における滑らかでないJ関数の近似という課題に取り組むために、同時型再帰ネットワーク（SRNs）と呼ばれる新しいニューラルネットワークアーキテクチャを導入する。従来の多層パーセプトロン（MLPs）とは異なり、SRNsは再帰的ダイナミクスと細胞構造を活用することで、滑らかでない環境においても最適経路を効果的に学習し、MLPs（5×10⁻⁴）と比較して著しく低い近似誤差（1.25×10⁻⁴）を達成する。

ABSTRACT

This paper shows that a new type of artificial neural network (ANN) -- the Simultaneous Recurrent Network (SRN) -- can, if properly trained, solve a difficult function approximation problem which conventional ANNs -- either feedforward or Hebbian -- cannot. This problem, the problem of generalized maze navigation, is typical of problems which arise in building true intelligent control systems using neural networks. (Such systems are discussed in the chapter by Werbos in K.Pribram, Brain and Values, Erlbaum 1998.) The paper provides a general review of other types of recurrent networks and alternative training techniques, including a flowchart of the Error Critic training design, arguable the only plausible approach to explain how the brain adapts time-lagged recurrent systems in real-time. The C code of the test is appended. As in the first tests of backprop, the training here was slow, but there are ways to do better after more experience using this type of network.

研究の動機と目的

• 知能制御における近似動的プログラミング（ADP）に不可欠な滑らかでない関数を近似できるニューラルネットワークアーキテクチャの開発を目的とする。
• 動的プログラミングにおけるJ関数のような複雑で滑らかでない関数を学習する際の、従来の多層パーセプトロン（MLPs）の限界を解決することを目的とする。
• 特に同時型再帰ネットワーク（SRNs）が、事前に各マップに対して訓練を受けることなく、マップナビゲーションのような困難な関数近似問題を効果的に解くことの有効性を示すこと。
• 収束の向上と局所的最小値の回避を図るため、バックトラッキングトレーニング（BTT）や適応的学習率といった実用的なトレーニング技術の探求。
• 合成的（Net A/Net B）および実世界的（マップナビゲーション）なテスト問題において、SRNsがMLPsを上回る優位性を実証すること。

提案手法

• 動的プログラミングにおけるJ関数をモデル化するために、フィードバック接続を持つ再帰的ダイナミクスを有する、同時型再帰ネットワーク（SRNs）というタイプの再帰的ニューラルネットワークを採用する。
• マップ問題における空間的関係を埋め込むために細胞構造を設計し、局所的相互作用を通じてグローバルな経路最適化を学習可能にする。
• 滑らかでない関数の学習中に収束を改善し、局所的最小値を回避するために、適応的学習率を用いたバックトラッキングトレーニング（BTT）を適用する。
• 完全なシーケンスバックプロパゲーションと部分的シーケンスバックプロパゲーションの性能差を評価するためのベースラインとして、切り捨てられたバックプロパゲーションスルータイム（truncation）を用いる。
• 全マップセルにおいて予測値と実際の動的プログラミング解との誤差を最小化することで、SRNがJ関数を近似するように訓練する。
• ネットワークタイプの影響を隔離するために、同一のネットワーク構造（9入力、3層の隠れ層（各3ニューロン）、3出力）を用いて、SRNsとMLPsの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 同時型再帰ネットワーク（SRNs）は、マップナビゲーションのような複雑な制御タスクにおいて、動的プログラミングの滑らかでないJ関数を効果的に近似できるか？
• RQ2 滑らかでない問題を含め、SRNsと多層パーセプトロン（MLPs）の両者において、J関数の近似性能はどのように比較されるか？
• RQ3 滑らかでない関数の学習において、安定的かつ正確な収束を達成するために必要なトレーニング技術（例：バックトラッキングトレーニング（BTT）や適応的学習率）は何か？
• RQ4 細胞構造を持つネットワークは、マップのような空間的に構造化された問題に対する一般化能力を向上させることができるか？
• RQ5 SRNsは、フィードフォワードネットワークでは表現できない反復的アルゴリズムをどれほど学習できるか？

主な発見

• バックトラッキングトレーニング（BTT）と適応的学習率を用いて訓練されたSRNは、マップ問題におけるJ関数の最終近似誤差を1.25×10⁻⁴にまで低下させ、MLPが達成した5×10⁻⁴の誤差よりも著しく低い水準に到達した。
• BTTで訓練されたSRNは、スタート地点からゴール地点への最適経路を効果的に近似しており、移動方向が最適であると判断できるほど小さな誤差を示した。
• 切り捨てられたトレーニングで訓練されたSRNは、視覚的比較と誤差曲線の両方で、J関数の近似が不十分であることが示された一方、BTTで訓練されたSRNは急速かつ安定した収束を示した。
• Net A/Net B問題において、SRNはMLPを上回り、より速く収束し、より低い誤差に到達した。これは、滑らかでない関数に対する優れた関数近似能力を示している。
• MLPは約80回のトレーニング試行を過ぎると誤差に改善が見られず、滑らかでない問題では収束が悪いことが示された。一方、BTTを用いたSRNは継続的に改善を示した。
• 細胞構造の設計はマップ問題を解く上で不可欠であった。MLPおよび切り捨てられたSRNの両方とも、成功した経路探索を達成できなかった。これは、空間的に構造化された滑らかでないタスクを処理するにあたり、アーキテクチャの革新の重要性を示している。