[論文レビュー] Compositional Planning Using Optimal Option Models

David Silver, Kamil Ciosek|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 15被引用数 29

ひとこと要約

本論文は、行動の時間的抽象化である最適オプションモデルを再帰的に組み合わせることで、高レベルのオプションを構成する構成的計画フレームワークを提案する。一般化されたベルマン方程式を用いることで、同時に部分目標の最適オプションを学習し、それらを組み合わせて広範な目的を達成することを可能にし、複雑な環境における計画の効率性とスケーラビリティを著しく向上させる。

ABSTRACT

In this paper we introduce a framework for option model composition. Option models are temporal abstractions that, like macro-operators in classical planning, jump directly from a start state to an end state. Prior work has focused on constructing option models from primitive actions, by intra-option model learning; or on using option models to construct a value function, by inter-option planning. We present a unified view of intra- and inter-option model learning, based on a major generalisation of the Bellman equation. Our fundamental operation is the recursive composition of option models into other option models. This key idea enables compositional planning over many levels of abstraction. We illustrate our framework using a dynamic programming algorithm that simultaneously constructs optimal option models for multiple subgoals, and also searches over those option models to provide rapid progress towards other subgoals.

研究の動機と目的

• 階層的強化学習における内的オプションモデル学習（原始的行動からオプションを学習すること）と外的オプション計画（オプションを用いて価値関数を構築すること）を1つのフレームワークで統合すること。
• オプションモデルの再帰的組み合わせを通じて、複数の抽象化レベルにわたる階層的計画を可能にすること。
• 部分目標のための最適オプションを学習する動的計画法を開発し、同時にそれらのオプションを探索して高レベルの目標へ効率的に進捗を図ること。
• オプションモデルの再帰的組み合わせを可能にするためにベルマン方程式を一般化し、スケーラブルで効率的な計画を実現すること。
• 構成的オプションモデリングが、複雑な順序決定タスクにおける収束速度とパフォーマンスの向上に寄与することを実証すること。

提案手法

• オプションの価値を、その構成要素であるオプションの再帰関数としてモデル化するため、ベルマン方程式を拡張し、階層的価値伝搬を可能にする。
• 2つ以上のオプションモデルを、定義された終了条件と方策を備えた新しい高レベルオプションモデルに組み合わせる再帰的組み合わせ演算子を導入する。
• 複数の部分目標のためのオプションモデルを同時に最適化し、それらのモデルを探索して遠く離れた目標に効率的に到達する動的計画法を採用する。
• オプションの時間的抽象化を考慮する一般化された価値関数を用い、複数のオプションに跨る価値更新を可能にする。
• 経験に基づいて個々のオプションモデルを改善する内的オプション学習と、それらを複合行動に組み合わせる外的オプション計画を併用する。
• 再帰的オプション組み合わせを通じて、部分目標達成と全体的な目標進捗のバランスを取る統一的学習目的を導入する。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習において、内的オプション学習と外的オプション計画を1つのフレームワークで統合するにはどうすればよいか？
• RQ2 オプションモデルの再帰的組み合わせは、複数の抽象化レベルにわたる効率的計画を可能にするか？
• RQ3 最適オプションモデルの組み合わせが、複雑な環境における計画速度と収束に与える影響は何か？
• RQ4 一般化されたベルマン方程式は、オプションの再帰的学習と組み合わせをどのように支援するか？
• RQ5 1つのアルゴリズムが、同時に部分目標のための最適オプションを学習し、それらを組み合わせて高レベルの目標を達成できるか？

主な発見

• 提案されたフレームワークは、最適オプションモデルの再帰的組み合わせを通じて階層的計画を可能にし、複雑なタスクにおける収束を著しく速くする。
• 動的計画法は、複数の部分目標のための最適オプションを学習すると同時に、それらを用いて遠く離れた目標へ計画的に進捗を図ることに成功した。
• オプションの再帰的組み合わせは、平坦な原始的行動ベースのアプローチと比較して、計画の効率性を顕著に向上させる。
• 一般化されたベルマン方程式は、組み合わせられたオプションの価値を効果的に捉え、複数の抽象化レベルに跨る正しい価値伝搬を可能にする。
• 実験的結果から、事前に学習済みの再利用可能なオプションモデルを活用することで、目標への迅速な進捗が達成されることが示された。
• このフレームワークは、個々のオプションの改善（内的オプション学習）とオプションの組み合わせ（外的オプション計画）の両方をサポートし、統一的な学習と計画メカニズムを提供する。