[論文レビュー] Language Grounding through Social Interactions and Curiosity-Driven Multi-Goal Learning

Nicolas Lair, Cédric Colas+4 more|arXiv (Cornell University)|Nov 8, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 6

ひとこと要約

本論文では、内部的好奇心と社会的パートナーフィードバックを用いて、自然言語（NL）の目標を自律的になし、言語に根ざした目標を発見・根付ける強化学習エージェントLE2を提案する。記述的フィードバックからNL条件付き報酬関数を学習することで、自己組織的カリキュラムを構築し、約80,000エピソードの後、シミュレーション内でのロボット操作タスク51個を段階的なスキル習得と高い報酬モデルの正確性を達成した。

ABSTRACT

Autonomous reinforcement learning agents, like children, do not have access to predefined goals and reward functions. They must discover potential goals, learn their own reward functions and engage in their own learning trajectory. Children, however, benefit from exposure to language, helping to organize and mediate their thought. We propose LE2 (Language Enhanced Exploration), a learning algorithm leveraging intrinsic motivations and natural language (NL) interactions with a descriptive social partner (SP). Using NL descriptions from the SP, it can learn an NL-conditioned reward function to formulate goals for intrinsically motivated goal exploration and learn a goal-conditioned policy. By exploring, collecting descriptions from the SP and jointly learning the reward function and the policy, the agent grounds NL descriptions into real behavioral goals. From simple goals discovered early to more complex goals discovered by experimenting on simpler ones, our agent autonomously builds its own behavioral repertoire. This naturally occurring curriculum is supplemented by an active learning curriculum resulting from the agent's intrinsic motivations. Experiments are presented with a simulated robotic arm that interacts with several objects including tools.

研究の動機と目的

• 定められたタスクや外部報酬なしに、自律的になし、報酬関数を学習するエージェントを可能にすること。
• 社会的パートナーとの対話によって、自然言語の記述を具体的な行動的目標に根付けること。
• 複数の目標環境における段階的スキル習得を可能にする、自己組織的で好奇心駆動型のカリキュラムを開発すること。
• 内部的探索を通じて、報酬関数とポリシーを共同で最適化すること。
• 社会的パートナーよりの言語フィードバックが、自律的かつスケーラブルなスキル習得をロボットエージェントに導けるかどうかを実証すること。

提案手法

• エージェントは外部報酬信号なしに、自由に環境を探索し、トラジェクトリを収集する。
• 社会的パートナーが達成された行動の自然言語記述を提供し、51の異なる目標のデータセットを形成する。
• 神経ネットワークがNL記述をスカラー報酬にマップする言語条件付き報酬関数を学習する。
• エージェントは内部的好奇心（学習の進行具合）を用いて、情報量の多い状態へ探索を誘導する。
• 学習された報酬関数を用いて、目標条件付きポリシーを訓練し、発見された目標を達成する。
• 収集されたトラジェクトリ上で、相互作用的・自己教師付き学習により報酬モデルとポリシーを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 定められた報酬なしに、多目的環境においてエージェントが自律的に自然言語の目標を発見し、根付けることができるか？
• RQ2 社会的パートナーよりの言語フィードバックは、エージェントの内部的探索とカリキュラム形成にどの程度効果的か？
• RQ3 ロボット操作タスクにおける言語に根ざした探索から、好奇心駆動型の自己組織的カリキュラムが出現するか？
• RQ4 学習された報酬関数の性能は時間経過とともにどのように変化し、多様な目標に一般化されるか？
• RQ5 言語条件付き報酬関数は、段階的学習を通じて、次第に複雑化するタスクをどの程度マスターできるか？

主な発見

• エージェントは、ArmToolsToys環境における51の事前定義済み目標を、自律的探索によってすべて発見・習得した。
• 報酬モデルは、約80,000回の学習エピソードの後、ほぼ完璧な性能（F1スコアが1.0に近い）を達成し、目標達成の予測精度が非常に高いことを示した。
• 初期段階では、正解率と再現率の指標に、クラスごとの顕著なばらつきが見られ、多様な目標表現を均一に学習することが難しいことを示した。
• クラスの不均衡のため、全体のモデル指標（正解率と再現率）は初期段階で誤解を招くものであり、個々の目標における性能の悪さが隠れていた。
• 言語フィードバックと内部的好奇心の組み合わせにより、単純な目標から複雑な目標へと進む自然で自己組織的なカリキュラムが形成された。
• エージェントの学習軌道は内部的動機づけによって導かれ、外部の監視なしに効率的なデータ収集と段階的スキル習得が達成された。