[論文レビュー] Action Categorization for Computationally Improved Task Learning and Planning

Lakshmi Nair, Sonia Chernova|arXiv (Cornell University)|Apr 26, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 3

ひとこと要約

本論文は、人間の認知プロセスにインspiredされた、アルゴリズムに依存しない抽象的データ構造であるアクション・カテゴリ表現（ACR）を導入する。ACRは、アクションコードを用いて物体を事前に定義されたアクションカテゴリにマッピングする。この機構により、計画や強化学習におけるアクション空間が縮小され、計算上の改善が得られ、特に限られたまたは不完全な示範が与えられた場合に顕著な学習速度の向上が達成される。

ABSTRACT

This paper explores the problem of task learning and planning, contributing the Action-Category Representation (ACR) to improve computational performance of both Planning and Reinforcement Learning (RL). ACR is an algorithm-agnostic, abstract data representation that maps objects to action categories (groups of actions), inspired by the psychological concept of action codes. We validate our approach in StarCraft and Lightworld domains; our results demonstrate several benefits of ACR relating to improved computational performance of planning and RL, by reducing the action space for the agent.

研究の動機と目的

• 大規模なアクション空間における計画および強化学習（RL）の計算非効率性を解消するため、認知にインspiredされた抽象化メカニズムを導入すること。
• 意思決定過程におけるエージェントが考慮すべきアクション数を削減することで、スケーラビリティとパフォーマンスを向上させること。
• 学習済みの物体-アクションカテゴリによるアクション選択の制約により、少数または非最適な示範からの効率的学習を可能にすること。
• 状態空間の量子化を用いて、連続的領域へも拡張可能な、アルゴリズムに依存しない拡張性のある表現を開発すること。
• ACRをHATのような既存手法と組み合わせることで、サンプル効率をさらに向上させ、示範エラーに対してより頑健な性能を達成すること。

提案手法

• ACRは、物体の集合と関連するアクションのタプル（例：((りんご, ナイフ), (切る, 削る)））からなるアクションコードを用い、意味的に関連するアクションをグループ化する（認知にインspiredされた抽象化）。
• エージェントの経験または人間の示範から表現が構築され、新しい物体-アクションカテゴリのオンライン学習が可能になる。
• 計画および強化学習におけるアクション選択を制限し、現在の物体に関連するアクションカテゴリに属するアクションのみを許容することで、ACRはアクション選択を制限する。
• PDDL計画では、物体-アクションマッピングに基づいて不要なアクションをプルーニングすることで、ACRが計画時間を短縮する。
• Q学習では、アクション空間の縮小によりACRが学習速度と収束性を向上させ、とくにスパarsな示範条件下で顕著な効果を示す。
• HATの提案アクションがACRのアクションカテゴリと整合することを検証することで、ACRをHATと組み合わせ、初期段階の探索とポリシー学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 抽象的アクション分類メカニズムは、計画および強化学習における計算複雑性を低減できるか？
• RQ2 1つまたは非最適な示範しか利用できない状況下で、ACRはどの程度の性能を示すか？
• RQ3 ベースライン手法と比較して、ACRは学習効率および計画速度をどの程度向上させるか？
• RQ4 ACRは、HATのような既存の模倣学習フレームワークと効果的に組み合わせられ、サンプル効率を向上させられるか？
• RQ5 新しい物体や新しいタスク文脈に対して、ACRは新たな示範なしにどの程度一般化できるか？

主な発見

• ACRは意味的に関連するアクションをグループ化することでアクション空間を縮小し、解の質を損なわずに計画および学習を高速化する。
• StarCraftドメインにおいて、ACRは物体-アクションカテゴリに基づくアクション集合の制限により、計画時間を顕著に短縮した。
• 1つのエキスパート示範のみで学習可能な状況でも、ACRはベースライン手法およびHATを上回る学習パフォーマンスを示し、限られたデータに対する頑健性を実証した。
• ACRとHATを組み合わせることで、単独で使用した場合よりも学習パフォーマンスが向上し、特に初期学習段階で顕著な効果を示した。
• ACRは、示範が非最適であっても、Q学習における学習収束性の向上と探索時間の短縮を達成した。
• 本手法は高いスケーラビリティと適応性を示し、形式的な計算バウンダリーにより、従来手法より劣る性能をとることはないことが保証された。