[論文レビュー] Off-Policy Shaping Ensembles in Reinforcement Learning

Anna Harutyunyan, Tim Brys+2 more|arXiv (Cornell University)|May 21, 2014

Reinforcement Learning in Robotics参考文献 24被引用数 4

ひとこと要約

本稿では、ホーディフレームワークを介して並列に潜在的報酬形状付けを用いて複数の価値関数を学習する、リアルタイムで収束する強化学習手法であるOff-Policy Shaping Ensemblesを提案する。ランク投票によるポリシーの統合により、モンテカルロ問題において個々の形状付けよりも高速な学習と競争力のある最終的性能を達成し、追加の計算コストなしに実現する。

ABSTRACT

Recent advances of gradient temporal-difference methods allow to learn off-policy multiple value functions in parallel with- out sacrificing convergence guarantees or computational efficiency. This opens up new possibilities for sound ensemble techniques in reinforcement learning. In this work we propose learning an ensemble of policies related through potential-based shaping rewards. The ensemble induces a combination policy by using a voting mechanism on its components. Learning happens in real time, and we empirically show the combination policy to outperform the individual policies of the ensemble.

研究の動機と目的

• オフポリシー強化学習のためのリアルタイムで収束するポリシー集合手法を開発し、追加のサンプルや計算コストをかけずに学習速度を向上させること。
• 潜在的学習状況における知識伝達の加速を図る手段として、複数のポテンシャルベースの形状信号の使用を検討すること。
• 複数の形状化されたポリシーを1つのより効果的なポリシーにリアルタイムで統合する投票メカニズムを設計すること。
• 従来の手法が収束に失敗しがちな、挑戦的なオフポリシーで固定行動ポリシーの設定において、手法の有効性を検証すること。
• 集合による統合が、最良の個々の形状信号の性能を模倣または上回ることを示すこと。

提案手法

• 勾配時系列TD法を用いて、オフポリシーで固定行動ポリシーの設定下で、ホーディアーキテクチャを活用し、複数の価値関数を並列に学習する。
• ポテンシャルベースの報酬形状付けを適用し、それぞれが異なる価値関数とポリシーを誘導する複数の補助報酬信号を生成する。
• 各状態で、すべての形状化されたポリシーにわたる累積ランクに基づいて、ランクベースの投票メカニズムを用いてエージェントの行動を決定する。
• 収束性と計算効率を確保するため、グリーディ-GQや類似の勾配TD法を用いる。
• すべての価値関数が共有する経験ストリームを維持することで、追加のサンプリングなしにリアルタイムでオンライン学習を実現する。
• 行動ポリシーが固定されたままの潜在的学習設定でエージェントを訓練し、理論的収束保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数のポテンシャルベースの形状信号を、リアルタイムでオフポリシー強化学習設定において効果的に統合できるか？
• RQ2 形状化されたポリシーの投票ベースの集合は、学習速度と最終的性能において個々の形状化されたポリシーを上回るか？
• RQ3 関数近似を伴うオフポリシー学習において、このような集合が収束保証を維持できるか？
• RQ4 1つの形状信号が他のものよりも著しく優れている場合、集合はどのように性能を示すか？
• RQ5 最良の形状信号が事前に分かっていない状況でも、集合は最良の個々の形状信号と同等の性能を達成できるか？

主な発見

• 1つの形状信号が著しく優れている状況では、集合による統合は最良の個別形状信号と同等の性能を示し、最終的な累積報酬は -180.2 ± 1.5 となり、統計的に有意に差がないことが確認された。
• 著しく優れた形状信号がない状況では、集合は全ステージで個々の形状信号をすべて上回り、最終的な累積報酬は -180.2 ± 1.5 となり、最悪の個別形状信号よりも顕著に優れていた。
• 集合ポリシーは、いかなる単一の形状信号よりも高速な学習速度を達成し、1000エピソード経過時点で累積報酬が -211.2 ± 94.2 に達し、その段階で全個別形状信号を上回った。
• すべての評価ポイントで、集合は最良の個別形状信号と同等またはそれを上回る性能を一貫して示し、そのロバストネスと有効性を裏付けた。
• 支配的形状信号が存在しない状況でも、投票メカニズムは複数の形状信号の相補的強みを的確に特定し、活用できた。
• 本手法は、ホーディフレームワークを用いることで、オフポリシー設定においてリアルタイムで収束する集合学習が可能であることを示した。これにより、追加の計算コストなしに知識伝達を高速化できることが実証された。