[論文レビュー] Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning

Mitchell Keith Bloch|arXiv (Cornell University)|Apr 27, 2011

Reinforcement Learning in Robotics参考文献 7被引用数 3

ひとこと要約

本稿では、HRLにおける時系列差分（TD）学習の修正を通じて、意図しないオンポリシー更新を排除するオフポリシー階層強化学習手法を提案する。タクシー・キャブ領域における実験では、サブタスク完了への拘束を軽減することで、オンライン学習効率と最終的な方策品質の両方が向上することを示し、長年にわたり広く信じられてきた『サブタスク完了への拘束が効率的なHRL学習に不可欠である』という主張に挑戦する。

ABSTRACT

In experimenting with off-policy temporal difference (TD) methods in hierarchical reinforcement learning (HRL) systems, we have observed unwanted on-policy learning under reproducible conditions. Here we present modifications to several TD methods that prevent unintentional on-policy learning from occurring. These modifications create a tension between exploration and learning. Traditional TD methods require commitment to finishing subtasks without exploration in order to update Q-values for early actions with high probability. One-step intra-option learning and temporal second difference traces (TSDT) do not suffer from this limitation. We demonstrate that our HRL system is efficient without commitment to completion of subtasks in a cliff-walking domain, contrary to a widespread claim in the literature that it is critical for efficiency of learning. Furthermore, decreasing commitment as exploration progresses is shown to improve both online performance and the resultant policy in the taxicab domain, opening a new avenue for research into when it is more beneficial to continue with the current subtask or to replan.

研究の動機と目的

• オフポリシー階層強化学習（HRL）システムにおける意図しないオンポリシー学習を是正すること。
• 効率的なHRL学習に不可欠であると広く信じられている『サブタスク完了への拘束』の必要性を疑問視すること。
• サブタスクの収束を事前に要件としない、信頼性のあるオフポリシー学習を可能にするTD手法の開発。
• 探索中に拘束を動的に軽減することが学習性能に与える影響の調査。

提案手法

• HRLにおけるオフポリシー学習中にオンポリシー更新が発生しないように、従来のTD手法を修正する。
• 階層オプション向けに補正されたオフポリシーTD手法として、ゲート付き時系列2次差分トレース（GTSDT）を導入する。
• 非グリーディなサブタスク実行時における一貫した価値バックアップを保証するため、1ステップ内オプション学習（OSIO）を採用する。
• 階層内のすべてのゴールのQ値を更新することで学習効率を向上させる、全状態更新を用いる。
• 100,000エピソードにわたり1から0に段階的に減少するように、冷却スケジュールを用いたボルツマン探索を適用する。
• タスクゴールに基づく共有Q値と非階層的実行を組み合わせた階層的エージェントを実装し、オンライン学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 サブタスクの完了を要件としないオフポリシーHRLは、効率的に学習できるか？
• RQ2 サブタスク完了への拘束を軽減することで、学習速度と最終的な方策品質が向上するか？
• RQ3 Q(0) や OSIO といった従来のTD手法は、サブタスクで非グリーディ行動が取られた場合に、オフポリシーHRLで信頼性があるか？
• RQ4 GTSDT と OSIO は、非階層的実行時にも効果的な学習を可能にするか？
• RQ5 サブタスク完了への拘束が、学習効率に有益である場合とそうでない場合の境界はどこか？

主な発見

• GTSDT は、拘束レベルに関係なく、固定Q(0) や 固定OSIO よりも最終的な方策品質で優れている。
• オンラインパフォーマンスは常にGTSDTが最良であり、拘束を軽減することで顕著に向上する。
• 100,000エピソードにわたり拘束を1から0に段階的に減少させることで、テストした3つのアルゴリズムすべての最終方策が向上する。
• 拘束を軽減することで、GTSDT と OSIO のオンラインパフォーマンスが向上するが、固定Q(0) はわずかに劣化するにとどまる。
• 研究結果は、文献で広く主張されている『サブタスク完了への拘束が効率的なHRL学習に不可欠である』という主張を裏付けるものではない。
• 補正されたTD手法を用いることで、サブタスクの収束を事前に要件としない信頼性のあるオフポリシー学習が可能であることが実証された。