[論文レビュー] ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning

Harris Chan, Yuhuai Wu+3 more|arXiv (Cornell University)|Feb 12, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 21

ひとこと要約

ACTRCEは、Hindsight Experience Replay（HER）において自然言語をゴール表現として使用する強化学習手法を提案する。これにより、複雑な3次元ナビゲーションタスクにおけるスパarsな報酬でもエージェントが学習可能になる。教師が提供する言語的ヒントを活用することで、最小限のアドバイスでも優れた性能を達成し、未学習の指示や語彙に対しても一般化可能であり、言語を用いないHERアプローチを上回る。

ABSTRACT

Sparse reward is one of the most challenging problems in reinforcement learning (RL). Hindsight Experience Replay (HER) attempts to address this issue by converting a failed experience to a successful one by relabeling the goals. Despite its effectiveness, HER has limited applicability because it lacks a compact and universal goal representation. We present Augmenting experienCe via TeacheR's adviCE (ACTRCE), an efficient reinforcement learning technique that extends the HER framework using natural language as the goal representation. We first analyze the differences among goal representation, and show that ACTRCE can efficiently solve difficult reinforcement learning problems in challenging 3D navigation tasks, whereas HER with non-language goal representation failed to learn. We also show that with language goal representations, the agent can generalize to unseen instructions, and even generalize to instructions with unseen lexicons. We further demonstrate it is crucial to use hindsight advice to solve challenging tasks, and even small amount of advice is sufficient for the agent to achieve good performance.

研究の動機と目的

• スパム報酬の課題に取り組むために、Hindsight Experience Replay（HER）を自然言語ゴール表現に拡張すること。
• 言語ベースのゴール抽象化を通じて、未学習の指示や語彙に対してもエージェントが一般化できるようにすること。
• 複雑な環境において、最小限の自然言語のヒントを用いても有効な学習が可能であることを示すこと。
• 言語の意味付けとヒント学習を組み合わせることで、マルチゴール強化学習におけるサンプル効率と一般化を向上させること。
• シミュレーテッド3次元環境における言語条件付きポリシー学習のための実用的でスケーラブルなフレームワークを提供すること。

提案手法

• 本手法は、HERにおける状態ベースのゴールを置き換えるために、自然言語をコン pact で表現力があり一般化可能なゴール表現として使用する。
• 各エピソード終了後、教師が達成された結果の自然言語記述をヒントとして提供する。
• エージェントはこのヒントを新たなゴールとみなして、経験に密度のある報酬（例：1）を割り当て、失敗を成功に変換する。
• 事前学習済みの文埋め込みモデル（例：InferLite）を用いて、言語的ヒントを潜在ベクトルに変換し、ポリシー学習に活用する。
• 深層QネットワークとGRUベースの再帰的ネットワークを統合し、言語条件付きゴールを用いた逐次的意思決定をモデル化する。
• 事前学習済み言語モデルから得られる意味的特徴を未学習の語やフレーズに転送することで、ゼロショット一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 自然言語ゴール表現は、スパム報酬を伴うマルチゴール強化学習におけるサンプル効率と学習性能を向上させることができるか？
• RQ2 自然言語で提供されるヒントを用いることで、未学習の指示や未学習の語彙に対しても一般化が可能になるか？
• RQ3 有効な学習に必要なヒントの量はどの程度で、最小限のアドバイスで十分か？
• RQ4 特に複雑な3次元環境において、言語ベースのゴール表現は状態ベースのゴール表現を上回る性能を発揮するか？
• RQ5 教師のヒントによる言語の意味付けは、シミュレーテッド環境におけるポリシーの一般化と耐性をどの程度向上させるか？

主な発見

• ACTRCEは、HERに非言語的ゴールを使用した場合に学習に失敗するような挑戦的なViZDoomの3次元ナビゲーションタスクを正常に解決した。
• 教師のヒントが訓練フレームのわずか1%にとどまっても、高い性能を達成した。これは、最小限の教師入力に対しても頑健であることを示している。
• 事前学習済み文埋め込みを用いることで、未学習の指示（未学習の語彙を含む）に対してもゼロショット一般化が可能になった。
• 未学習の指示への一般化性能は、ベースラインのHERよりも顕著に優れており、ベースラインは学習済みゴールの範囲内でのみ一般化可能であった。
• 言語ベースのゴールは、生の状態ベースのゴールに比べてよりコンパクトで意味のある表現を提供し、冗長性を低減した。
• ヒントが最初の1%のフレームでのみ提供された場合でも、性能が安定しており、低監視設定における実用性を確認した。