[論文レビュー] ELLA: Exploration through Learned Language Abstraction

Suvir Mirchandani, Siddharth Karamcheti+1 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 46被引用数 8

ひとこと要約

ELLA は、オンラインでの関連性分類とオフラインでの終了分類を通じて、低レベルの部分タスクを特定することで、報酬形状を改善し、スパarsely-rewarded で言語ベースの強化学習におけるサンプル効率を向上させる手法である。事前に定義された階層的指示分解を必要とせず、有用な部分タスクの完了に対する補助報酬を提供することで、複雑な BabyAI タスクにおける性能を向上させる。

ABSTRACT

Building agents capable of understanding language instructions is critical to effective and robust human-AI collaboration. Recent work focuses on training these agents via reinforcement learning in environments with synthetic language; however, instructions often define long-horizon, sparse-reward tasks, and learning policies requires many episodes of experience. We introduce ELLA: Exploration through Learned Language Abstraction, a reward shaping approach geared towards boosting sample efficiency in sparse reward environments by correlating high-level instructions with simpler low-level constituents. ELLA has two key elements: 1) A termination classifier that identifies when agents complete low-level instructions, and 2) A relevance classifier that correlates low-level instructions with success on high-level tasks. We learn the termination classifier offline from pairs of instructions and terminal states. Notably, in departure from prior work in language and abstraction, we learn the relevance classifier online, without relying on an explicit decomposition of high-level instructions to low-level instructions. On a suite of complex BabyAI environments with varying instruction complexities and reward sparsity, ELLA shows gains in sample efficiency relative to language-based shaping and traditional RL methods.

研究の動機と目的

• エンジンエージェント向けに、スパarsely-rewarded で長時間にわたる言語指示タスクにおけるサンプル効率を向上させること。
• ポリシー学習中に関連する低レベル行動を特定・報酬化することで、効率的な探索を可能にすること。
• 高レベルの指示の厳密で事前に定義された階層的分解に依存しないこと。
• 専門家が提供する部分タスクのシーケンスを必要とせず、オンラインで低レベル行動と高レベルタスクとの関連性を学習すること。
• 複雑で構成的な指示環境における一般化性と頑健性を向上させること。

提案手法

• 低レベルの指示と終端状態のラベル付きペairを用いて、部分タスクの完了を検出するためのオフラインでの終了分類器を訓練する。
• 高レベルタスクの成功を予測するのに役立つ低レベル部分タスクを特定するため、オンラインで関連性分類器を学習する。
• 関連性分類器を用いて、部分タスクの完了に応じて動的に補助報酬を割り当てる。
• ハイパーパrameter λ を用いた報酬形状損失を定式化することで、内在的報酬と形状報酬のバランスをとり、ポリシー不変性を保証する。
• 成功した軌道からのオンライン経験を収集し、重複除去を用いてノイズを低減することで、リアルタイムで関連性分類器を訓練する。
• 標準的な強化学習アルゴリズム（例：PPO）と関連性分類器を統合し、部分タスクの関連性に基づいて報酬を形状化する。

実験結果

リサーチクエスチョン

• RQ1 オンラインでの部分タスク関連性の学習は、スパarsely-rewarded な言語指示タスクにおけるサンプル効率を向上させることができるか？
• RQ2 ELLA のアプローチは、従来の強化学習および言語ベースの形状化ベースラインと比較して、学習速度と最終的なパフォーマンスの面でどのように異なるか？
• RQ3 ELLA は、複雑な環境における多様で構成的な言語指示にどの程度一般化できるか？
• RQ4 ELLA のパフォーマンスは、形状化ハイパーパrameter λ の選択にどの程度敏感か？
• RQ5 明示的な高レベル指示の階層的分解を必要とせず、意味のある抽象化を学習できるか？

主な発見

• ELLA は、PutNext、Unlock、Combo、Open&Pick、Sequence タスクを含む複数の BabyAI 環境で、顕著なサンプル効率の向上を達成した。
• PutNext-Maze および Sequence-Maze では、時間の経過とともに高レベル指示あたりの部分タスク数が減少しており、分解推定の改善が示された。
• PutNext-Maze において関連性分類器は高い検証精度を達成しており、タスク関連の抽象化を効果的に学習していることが示された。
• PutNext、Unlock、Combo では λ = 0.25、長時間のタスク（Open&Pick や Sequence）では λ = 0.5 で安定した学習が得られた。
• 中程度の指示複雑性を持つ環境ではパフォーマンス向上が顕著であったが、データスパarsity が原因で、非常に多様で構成的な指示（例：Sequence-Maze）は依然として挑戦的であった。
• アブレーションスタディの結果、終了分類器は各低レベルタスクあたり約 15K 個の正例および負例ペアを必要としており、データ効率は低データ環境下でも依然として制限要因であることが判明した。