[論文レビュー] Disentangled Planning and Control in Vision Based Robotics via Reward Machines

Alberto Rivas, Jacob Varley+3 more|arXiv (Cornell University)|Dec 28, 2020

Computability, Logic, AI Algorithms参考文献 34被引用数 4

ひとこと要約

本稿では、視覚ベースのロボット操作タスクにおけるサンプル効率性とポリシー品質の向上を目的として、報酬マシンを用いたディープQラーニング（DQRM）を提案する。抽象状態表現による計画と制御の分離および報酬マシンを用いた密度の高い報酬形状化により、DQRMは優れた性能を達成し、200回未満のバッチ学習ステップで高品質なポリシーを学習する。これは、標準DQNおよびハイブリッドベースラインを上回る。

ABSTRACT

In this work we augment a Deep Q-Learning agent with a Reward Machine (DQRM) to increase speed of learning vision-based policies for robot tasks, and overcome some of the limitations of DQN that prevent it from converging to good-quality policies. A reward machine (RM) is a finite state machine that decomposes a task into a discrete planning graph and equips the agent with a reward function to guide it toward task completion. The reward machine can be used for both reward shaping, and informing the policy what abstract state it is currently at. An abstract state is a high level simplification of the current state, defined in terms of task relevant features. These two supervisory signals of reward shaping and knowledge of current abstract state coming from the reward machine complement each other and can both be used to improve policy performance as demonstrated on several vision based robotic pick and place tasks. Particularly for vision based robotics applications, it is often easier to build a reward machine than to try and get a policy to learn the task without this structure.

研究の動機と目的

• 視覚ベースのロボットタスクにおける標準的なディープQネットワーク（DQN）のサンプル非効率性と収束不良を解消すること。
• 潜在的状態特徴の学習をポリシー学習から分離することで、学習の安定性と性能が向上するかを調査すること。
• 抽象状態の監視と密度の高い報酬形状化を統合した深層強化学習における有効性を評価すること。
• 専門家のデモンストレーションから報酬マシンを構築し、ポリシー学習の起動を可能にするかを示すこと。
• 観測に冗長な抽象状態表現でさえ、DQNが効果的なポリシーを学習する上で不可欠であることを示すこと。

提案手法

• タスク構造を抽象状態と遷移に基づく密度の高い報酬でモデル化する有限状態機械である報酬マシン（RM）を導入する。
• 手作業で設計された特徴検出器を用いて、タスク関連の状態特徴（例：ブロックの位置、グリッパー状態）を抽出し、抽象状態を定義する。
• 専門家のデモンストレーションからRMを構築し、深層学習の安定性を確保するためQ値がゼロを中心に保たれるようにする。
• DQNにワンホットエンコードされた抽象状態入力を追加し、RMから導出された密度の高い報酬関数を用いて探索をガイドする。
• Rawな観測を抽象状態に分類するためのResNetベースのエンコーダを採用し、抽象状態監視によるエンドツーエンド学習を可能にする。
• デモンストレーションとオフポリシーのリプレイバッファを組み合わせ、DQRMが専門家のデータを活用して収束を高速化できることを実現する。

実験結果

リサーチクエスチョン

• RQ1 抽象状態表現は、視覚ベースのロボットタスクにおけるDQNのサンプル効率性と最終的なポリシー品質を顕著に向上させることができるか？
• RQ2 抽象状態監視と密度の高い報酬形状化を組み合わせることで、単独で使用する場合よりも優れた性能が得られるか？
• RQ3 少数の専門家のデモンストレーションから報酬マシンを効果的に構築し、DQN学習をガイドできるか？
• RQ4 抽象状態による性能向上は、タスクの時間枠長さ（例：短時間枠 vs. 長時間枠タスク）に依存するか？
• RQ5 DQRMフレームワークは、高品質なポリシー成功確率に到達するまでの訓練ステップ数をどの程度削減できるか？

主な発見

• 標準DQNは、抽象状態情報が観測に存在する単純なピックアンドプレースタスクでさえ、良好なポリシーを学習できなかった。
• DQRMは100件のデモンストレーションでのみ、500件のデモンストレーションで学習したDQNと同等の成功確率を達成し、優れたデータ効率性を示した。
• DQRMは200回未満のバッチ学習ステップで妥当な成功確率に到達したが、報酬形状化のみを用いたDQNは収束に1,500ステップを要した。
• DQRMでは、抽象状態と密度の高い報酬形状化の組み合わせが、単独で使用する場合よりも安定性と高品質なポリシーをもたらした。
• 抽象状態監視は特に長時間枠タスク（例：6ステップのキッティングタスク）において顕著に有効であり、DQN(AS)単体では性能向上が見られなかった。
• ResNetベースの分類器は、Rawな観測を抽象状態に正確にマッピングでき、実際の応用において抽象状態認識が実現可能で簡単であることを確認した。