[論文レビュー] Iterative Hierarchical Optimization for Misspecified Problems (IHOMP)

Daniel J. Mankowitz, Timothy Mann+1 more|arXiv (Cornell University)|Feb 10, 2016

Reinforcement Learning in Robotics参考文献 23被引用数 11

ひとこと要約

本稿では、状態表現が不十分なために標準的な関数近似が高パフォーマンスな方策を表現できない強化学習問題を解消するための反復的階層最適化手法である、不適切な問題に対する反復的階層的最適化（IHOMP）を提案する。IHOMPは理論的収束保証を提供し、状態空間の分割を同時に最適化するIHOMP-ROIに拡張可能であり、効果的なオプション再利用を可能にし、ピンバルや2部屋といった不適切なタスクにおいてフラット方策を著しく上回る性能を発揮する。

ABSTRACT

For complex, high-dimensional Markov Decision Processes (MDPs), it may be necessary to represent the policy with function approximation. A problem is misspecified whenever, the representation cannot express any policy with acceptable performance. We introduce IHOMP : an approach for solving misspecified problems. IHOMP iteratively learns a set of context specialized options and combines these options to solve an otherwise misspecified problem. Our main contribution is proving that IHOMP enjoys theoretical convergence guarantees. In addition, we extend IHOMP to exploit Option Interruption (OI) enabling it to decide where the learned options can be reused. Our experiments demonstrate that IHOMP can find near-optimal solutions to otherwise misspecified problems and that OI can further improve the solutions.

研究の動機と目的

• 状態表現が不十分なために標準的な関数近似が高パフォーマンスな方策を表現できない強化学習問題に対処すること。
• 状態部分領域に分割された状態空間上で特化したオプションを学習することで、不適切性を軽減する階層的強化学習手法を開発すること。
• 不適切な状況下における連続的状態空間におけるオプションの反復的学習の理論的収束保証を提供すること。
• オプション干渉を用いて状態空間の分割を自動で改善するフレームワークを拡張し、最適なオプション再利用領域の発見を可能にすること。
• 平坦な方策表現が失敗するような複雑で高次元なドメインにおいて、近似的に最適な解を同定できることを実証すること。

提案手法

• IHOMPは状態空間を分割し、各分割クラスに対してブラックボックス強化学習アルゴリズムを用いて1つのオプションを学習する。オプションは任意に初期化され、反復的に更新される。
• 各オプションはその分割内での累積報酬を最大化するために訓練され、報酬信号はオプション間ポリシーを通じて前方から後方へと伝播する。
• オプション間ポリシーは、特化したオプションの出力を統合して行動を生成し、状態部分領域間での協調的行動を可能にする。
• アルゴリズムは反復的にオプションポリシーを精緻化し、低報酬領域のオプションが、より優れた性能を示すオプションからの報酬伝播によって利益を得られるようにする。
• IHOMP-ROIは正則化されたオプション干渉を統合し、最適なオプションポリシーと状態空間の分割を同時に学習し、オプション再利用の可能性を発見する。
• 本手法は任意の分割スキームをサポートし、線形および非線形関数近似器（ディープQネットワークを含む）とも互換性がある。

実験結果

リサーチクエスチョン

• RQ1 階層的フレームワーク内で文脈特化型オプションの反復的学習が、状態表現が限られているために不適切な強化学習問題を解消できるか？
• RQ2 提案されたIHOMPアルゴリズムが、連続的状態空間における不適切なMDPを解く際に理論的収束保証を提供するか？
• RQ3 オプション干渉を用いて状態空間の分割を効果的に改善し、階層的強化学習における知的なオプション再利用を可能にできるか？
• RQ4 ピンバルや2部屋といった現実世界の不適切な環境において、IHOMPは平坦方策アプローチと比較してどのように性能を発揮するか？
• RQ5 IHOMP-ROIは、状態空間構造の事前知識がなくとも、最適な分割と再利用領域をどの程度効果的に発見できるか？

主な発見

• IHOMPは、平坦方策が完全に失敗するS字型ドメインや2部屋環境を含む、不適切な問題において近似的に最適な解を効果的に発見した。
• ピンバルワールドタスクでは、4×3×1×1の分割を用いたIHOMPが平坦方策を上回り、ゴールに近いオプション初期化のおかげで1回のイテレーションで安定した平均報酬を達成した。
• 2部屋ドメインにおいて、IHOMP-ROIは非自明で最適な分割を学習し、限られた方策表現の下でも部屋間移動を可能にした。
• IHOMP-ROIで学習された分割には直感的でないオプション再利用が含まれており、赤色のオプションを領域Bで実行するという例が、アルゴリズムが効果的な再利用パターンを発見できることを示した。
• IHOMPと平坦方策との間の性能差は顕著であり、IHOMP-ROIはより高い平均報酬を達成し、そうでなければ解けないタスクを解消できた。
• 分割のコストは設計に敏感であり、プドルワールドでは粗い分割（例：3×3）が細かい分割（例：4×4）を上回る性能を示し、分割品質の重要性を強調した。