[論文レビュー] Improving the Speed of Response of Learning Algorithms Using Multiple Models

Kumpati S. Narendra, Snehasis Mukhopadyhay+1 more|arXiv (Cornell University)|Oct 16, 2015

Neural Networks and Applications参考文献 1被引用数 8

ひとこと要約

本論文では、強化学習における学習速度の向上のため、複数のモデルを用いる手法を提案している。特に、最も単純な学習スキームである学習オートマトンに対してその手法を実証している。環境行動の複数のモデルを維持し、動的に選択することで、従来の単一モデルアルゴリズムに比べて、より高速かつ滑らかな収束を達成している。また、複雑なマルコフ決定過程や非線形系への拡張が提案されている。

ABSTRACT

This is the first of a series of papers that the authors propose to write on the subject of improving the speed of response of learning systems using multiple models. During the past two decades, the first author has worked on numerous methods for improving the stability, robustness, and performance of adaptive systems using multiple models and the other authors have collaborated with him on some of them. Independently, they have also worked on several learning methods, and have considerable experience with their advantages and limitations. In particular, they are well aware that it is common knowledge that machine learning is in general very slow. Numerous attempts have been made by researchers to improve the speed of convergence of algorithms in different contexts. In view of the success of multiple model based methods in improving the speed of convergence in adaptive systems, the authors believe that the same approach will also prove fruitful in the domain of learning. In this paper, a first attempt is made to use multiple models for improving the speed of response of the simplest learning schemes that have been studied. i.e. Learning Automata.

研究の動機と目的

• 機械学習アルゴリズム、特に強化学習において顕著な問題である収束の遅さを解決すること。
• 適応制御で効果が証明された複数モデルベースのアプローチが、学習システムにおける学習速度の向上にも同様に有効であるかを調査すること。
• 原則の提示のための基盤的ケースとして、最も単純な学習スキーム、すなわち学習オートマトンに焦点を当てる。
• 複数モデルフレームワークを、マルコフ決定過程や連続状態系を含むより複雑な動的環境へと拡張すること。
• 複数モデルをモデルフリーおよびモデルベースの学習スキームに適用するための理論的かつシミュレーションベースの基盤を提供すること。

提案手法

• 学習オートマトンとランダムな環境との間でフィードバックループを構築し、報酬確率の推定値に基づいて行動を選択する。
• 環境の応答（すなわち、報酬確率 d_i の複数の推定値）の複数のモデルを維持して、システムに関する異なる仮説を表現する。
• 歴史的なパフォーマンスに基づいて、最もパフォーマンスの良いモデルを動的に選択または組み合わせ、行動選択を指導致す。
• 間接的適応制御で用いられるモデル選択または組み合わせ戦略に類似した手法を適用し、収束速度の向上を図る。
• 離散状態のMDPへの応用では、複数のモデルを用いて遷移行列と報酬行列を推定し、その後で動的計画法に最良のモデルを選択する。
• 連続状態系では、異なるパラメータを持つ識別モデルのバンク（例：f̂_i）を用いて状態の進化を予測し、それらを組み合わせて予測精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一モデルアプローチに比べ、複数モデルベースの戦略は学習オートマトンの応答時間の短縮を顕著に実現できるか？
• RQ2 適応制御で用いられるモデル選択または組み合わせ技術は、強化学習システムにおける学習の加速にどのように適合可能か？
• RQ3 静的環境と動的環境の両方において、複数モデル学習の収束特性はどのように異なるか？
• RQ4 未知の遷移および報酬ダイナミクスを有するマルコフ決定過程に対し、複数モデルアプローチを一般化できるか？
• RQ5 異種のモデル（異なる構造やパrameter化）を用いることで、非線形力学系における学習速度と精度にどのような影響を与えるか？

主な発見

• 単一モデルアルゴリズムに比べ、複数モデルアプローチは学習オートマトンにおける収束の速度と滑らかさを顕著に向上させる。
• 報酬確率に関する複数の仮説を維持し、それらから選択することで、最適行動（α_opt）の特定がより迅速に可能になる。
• シミュレーション結果から、複数モデルにおける収束行動は著しく優れており、振動が低減され、より速く安定化することが示された。
• このフレームワークは、遷移行列と報酬行列の複数モデルを用いてポリシー最適化を加速できるマルコフ決定過程へと拡張可能である。
• 連続状態系では、複数の識別モデル（f̂_i）を組み合わせることで、単一モデルよりも正確な状態予測が可能となり、学習パフォーマンスが向上する。
• このアプローチは、モデルフリーおよびモデルベースの学習の両方に適用可能であり、多様な強化学習問題における学習の高速化に広範な可能性を示している。