[論文レビュー] Environment-Independent Task Specifications via GLTL

Michael L. Littman, Ufuk Topcu+4 more|arXiv (Cornell University)|Apr 14, 2017

Distributed and Parallel Computing Systems参考文献 20被引用数 61

ひとこと要約

GLTL は確率的で環境に依存しないタスク仕様言語を、LTL の幾何学的変種として導入し、RL の学習可能なタスク表現を可能にし、固定報酬関数の置換を提供します。

ABSTRACT

We propose a new task-specification language for Markov decision processes that is designed to be an improvement over reward functions by being environment independent. The language is a variant of Linear Temporal Logic (LTL) that is extended to probabilistic specifications in a way that permits approximations to be learned in finite time. We provide several small environments that demonstrate the advantages of our geometric LTL (GLTL) language and illustrate how it can be used to specify standard reinforcement-learning tasks straightforwardly.

研究の動機と目的

• 伝統的な報酬関数を超えた環境に依存しないタスク仕様の必要性を動機づける。
• GLTL を、幾何学的に分布するオペレータの満了時間を境界付けた確率的拡張として提案する。
• GLTL を環境 MDP と学習可能な組合せとして、標準的な RL タスクを仕様化し解く方法を示す。
• 報酬だけでは難しいタスクを GLTL で表現できること、学習性が向上することを例を通じて示す。

提案手法

• 幾何学的線形時相論理（GLTL）を、幾何学的に分布した満了ウィンドウで時間演算子を境界付けることで導入する。
• GLTL 公式を仕様 MDP に翻訳し、環境 MDP をタスク充足の内部記憶で拡張する。
• オペレータ: diamondsuit_{\u03bc}p, Box_{\u03bc}q, and ϕun_{\u0003bc} それぞれの意味論を、境界付きウィンドウとして定義する。
• 環境 MDP と仕様 MDP のクロス積を構成し、結合 MDP を得る。
• 結合 MDP を解くことで GLTL の充足確率を最大化し、方針を仕様の充足へと導く。
• オペレータの優先順位を説明し、仕様 MDP を結合する際の conjunction、disjunction、until による構成規則を提供する。

実験結果

リサーチクエスチョン

• RQ1 LTL ベースのタスク仕様は強化学習設定で効率的に学習できるか。
• RQ2 幾何学的で境界付きの意味論（GLTL）を導入すると、古典的な LTL や単なる報酬と比べて学習性と頑健性が向上するか。
• RQ3 GLTL 公式を系統的に仕様 MDP に変換し、環境 MDP と組み合わせて環境依存性のないタスク解を生成する方法は。
• RQ4 報酬のみで表現するのが難しい、GLTL で自然に表現できる標準的な RL タスクは何か。

主な発見

• GLTL は環境依存しないタスク仕様を可能にし、環境 MDP に自動的に統合してタスク充足確率を最大化できる。
• 特に GLTL の境界付き演算子は、境界なし LTL の仕様と比べて学習をより安定させ、充足確率は推定精度に沿って滑らかに依存する。
• このアプローチは、目標到達、回避、順序付け、安定化といった標準的な RL タスクを、報酬のみの定式化より自然に表現できる。
• 方法は、GLTL 仕様の充足確率を最大化する最適方針を得る固定の複合 MDP を生成する。
• 例として、赤い状態へ到達すること、青い障害物を避けること、次に緑色状態へ到達することを、障壁がある場合も含めてエンコード・解決できることを示す。