[論文レビュー] LTL2Action: Generalizing LTL Instructions for Multi-Task RL

Pashootan Vaezipoor, Andrew Li+2 more|arXiv (Cornell University)|Feb 13, 2021

Reinforcement Learning in Robotics参考文献 55被引用数 10

ひとこと要約

本論文は、LTLプログレッションと環境に依存しない事前学習を活用することで、未学習のLTL指定タスクに一般化可能な深層強化学習フレームワークLTL2Actionを提案する。本手法は、離散的および連続的環境において、組み合わせ的に大きなタスク空間において、短視眼的でない、最適性を保証する方策を学習することで、短視眼的手法を上回る性能を発揮する。

ABSTRACT

We address the problem of teaching a deep reinforcement learning (RL) agent to follow instructions in multi-task environments. Instructions are expressed in a well-known formal language -- linear temporal logic (LTL) -- and can specify a diversity of complex, temporally extended behaviours, including conditionals and alternative realizations. Our proposed learning approach exploits the compositional syntax and the semantics of LTL, enabling our RL agent to learn task-conditioned policies that generalize to new instructions, not observed during training. To reduce the overhead of learning LTL semantics, we introduce an environment-agnostic LTL pretraining scheme which improves sample-efficiency in downstream environments. Experiments on discrete and continuous domains target combinatorial task sets of up to $\sim10^{39}$ unique tasks and demonstrate the strength of our approach in learning to solve (unseen) tasks, given LTL instructions.

研究の動機と目的

• マルチタスク環境における未学習のLTL指定タスクに一般化可能な深層強化学習エージェントの実現を目的とする。
• タスクを独立した部分タスクに分解する短視眼的アプローチの限界を克服し、全体としての性能が劣化するのを防ぐことを目的とする。
• 環境に依存しないLTL事前学習スキームを導入することで、サンプル効率と一般化性能の向上を図ることを目的とする。
• LTLの構文的・意味的合成性を活用し、スケーラブルで自動的なトレーニングデータ生成を実現することを目的とする。
• LTLに含まれる複雑な時間的および論理的制約を尊重する方策を学習する際、最適性の保証を維持することを目的とする。

提案手法

• 本手法は、意味を保存する書き換え操作であるLTLプログレッションを用い、実行中にLTL命令のどの部分が未達成のままであるかを動的に追跡する。
• LSTM、GRU、またはグラフニューラルネットワーク（GNN）などのニューラルアーキテクチャを用いてLTL論理式を符号化し、方策勾配を用いたエンドツーエンド学習を可能にする。
• 環境に依存しないLTL事前学習スキームを導入し、下流の環境とは独立してLTLの意味を学習することで、下流のサンプル効率を向上させる。
• イベント検出器を用いて、観測からドメイン固有の命題記号（例：have-coffee）を認識し、LTL論理式の意味的接地を実現する。
• 方策は、観測と符号化されたLTL命令の両方に条件付けられた累積割引報酬を最大化するように深層強化学習で学習する。
• 命題記号の非1-of-k特徴表現を用いることで、未学習の命題に対しても一般化が可能であることが、予備実験で示された。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、RLエージェントは未学習のLTL指定タスクに一般化できるか？
• RQ2 LTLプログレッションを用いることで、短視眼的分解と比較して、より優れた一般化性能と最適性が達成できるか？
• RQ3 環境に依存しないLTL事前学習は、下流のRLタスクにおけるサンプル効率をどの程度向上させるか？
• RQ4 LSTM、GRU、GNNといった異なるニューラルエンコーダーは、LTL条件付き方策の学習においてどのように比較されるか？
• RQ5 非1-of-k特徴表現を用いることで、フレームワークは未学習の命題に対しても一般化できるか？

主な発見

• LTL2Actionフレームワークは、独立した部分タスクに分解する短視眼的手法と比較して、優れた一般化性能を達成した。
• ニューラルエンコーダーの比較において、GNNは特に複雑なタスク空間において、LSTMやGRUを上回る一般化性能を示した。
• 環境に依存しないLTL事前学習スキームは、下流のRL学習におけるサンプル効率を顕著に向上させ、高い性能に到達するための相互作用回数を削減した。
• 命題記号の非1-of-k特徴表現を用いることで、未学習の命題を含むタスクに対しても、フレームワークは成功裏に一般化したことが、予備実験で示された。
• 離散的および連続的ドメインにおける実験から、最大約10^39の異なるタスクを含む組み合わせ的に大きなタスク集合において、強力な性能が得られた。
• LTLプログレッションの使用により、LTL論理式の完全な時間的構造を尊重する非短視眼的方策学習が可能になり、最適性の保証が維持された。