[論文レビュー] Guiding Policies with Language via Meta-Learning

John D. Co-Reyes, Abhishek Gupta+6 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 39被引用数 8

ひとこと要約

本論文は、自然言語による修正によってポリシーをガイドするメタラーニングフレームワークを提案し、人間が提供する言語フィードバックを通じて段階的に行動を改善できるようにする。本手法は、過去のトラジェクトリに修正を根拠としておくことで、シミュレートされたナビゲーションおよび操作タスクにおいて、非対話型の指示従いの手法を上回り、未学習のオブジェクトやより長い修正シーケンスへの一般化を実現する。

ABSTRACT

Behavioral skills or policies for autonomous agents are conventionally learned from reward functions, via reinforcement learning, or from demonstrations, via imitation learning. However, both modes of task specification have their disadvantages: reward functions require manual engineering, while demonstrations require a human expert to be able to actually perform the task in order to generate the demonstration. Instruction following from natural language instructions provides an appealing alternative: in the same way that we can specify goals to other humans simply by speaking or writing, we would like to be able to specify tasks for our machines. However, a single instruction may be insufficient to fully communicate our intent or, even if it is, may be insufficient for an autonomous agent to actually understand how to perform the desired task. In this work, we propose an interactive formulation of the task specification problem, where iterative language corrections are provided to an autonomous agent, guiding it in acquiring the desired skill. Our proposed language-guided policy learning algorithm can integrate an instruction and a sequence of corrections to acquire new skills very quickly. In our experiments, we show that this method can enable a policy to follow instructions and corrections for simulated navigation and manipulation tasks, substantially outperforming direct, non-interactive instruction following.

研究の動機と目的

• 自律エージェントのタスク指定における報酬関数やデモの限界を克服すること。
• ユーザーが段階的にポリシーを修正する対話的で言語ベースのタスク指定を可能にすること。
• タスク間で一般化できるメタラーニングモデルを構築し、言語フィードバックを用いて行動を修正すること。
• 空間的推論と正確な制御を要するシミュレート環境において、手法の評価を行うこと。
• トレーニング中に見なかったオブジェクトやより長い修正シーケンスへの一般化を評価すること。

提案手法

• 本手法は、自身の過去のトラジェクトリ、言語指令、および言語修正のシーケンスを入力として受け取り、行動を改善するポリシーをメタラーニングで訓練する。
• モデルは、手動で設計された文法から生成された合成言語修正を用いて、多様なタスクで訓練される。
• メタテスト段階では、言語フィードバックに基づいて段階的に行動を改善することで、新しいタスクに一般化する。
• 指令、行動履歴、修正を統合した入力を一つにまとめて、改善された行動を予測するアーキテクチャを採用する。
• モデルは、自身のミスから学び、言語を用いて行動調整を根拠づけることで、誤りを是正する。
• 本フレームワークは方向型および二値型の修正をサポートし、細かく調整されたポリシーの改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ポリシーは直接指令ではなく、反復的言語修正によって行動を改善できるか？
• RQ2 最新の修正だけでなく、複数の過去の修正にアクセスできる場合、学習性能にどのような影響があるか？
• RQ3 トレーニング中に見なかったタスクや未学習のオブジェクトに対しても、モデルは一般化可能か？
• RQ4 トレーニング時に観測したよりも長い修正シーケンスでも、性能が向上するか？
• RQ5 方向型（例：「目的は西南にある」）と二値型（例：「間違った部屋にいる」）の修正タイプは、学習効率にどのように影響するか？

主な発見

• 10回の修正を伴うマルチルームナビゲーションタスクにおいて、モデルは0.86の完了率を達成し、非対話型指令従いの手法を著しく上回った。
• オブジェクトリロケーションタスクでは、10回の修正で0.95の完了率に達し、連続制御における高い正確性を示した。
• 過去の修正へのアクセスを削除すると性能が著しく低下したため、過去の行動記憶が安定した学習にとって不可欠であることが示された。
• テスト段階でより多くの修正が加わるにつれて性能が向上した（例：マルチルームで0.82から0.86に向上）、ただし効果の逓減が見られた。
• 方向型修正（例：「ゴールは西南にある」）は、c1からc5にかけて完了率が25%増加したが、二値型修正（例：「間違った部屋にいる」）はほとんど向上が見られなかった。
• トレーニング時にその特定のオブジェクト（例：緑色の三角形）に触れなかったにもかかわらず、未学習オブジェクトに対してc5で0.75の完了率を達成し、ベースラインを上回った。