[論文レビュー] A Narration-based Reward Shaping Approach using Grounded Natural Language Commands

Nicholas R. Waytowich, Sean L. Barton+2 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本論文では、StarCraft IIのBuildMarinesミニゲームのようなスパarsely-rewarded環境における深層強化学習の性能を向上させるために、接地された自然言語命令を用いた物語ベースの報酬形状化手法を提案する。報酬形状化には、相互埋め込みモデル（MEM）を用いて自然言語命令とゴール状態を共有の埋め込み空間に投影することで、より速い学習と未学習の命令への一般化を実現し、報酬形状化なしのベースラインおよび従来の形状化ベースラインを上回る性能を達成する。

ABSTRACT

While deep reinforcement learning techniques have led to agents that are successfully able to learn to perform a number of tasks that had been previously unlearnable, these techniques are still susceptible to the longstanding problem of reward sparsity. This is especially true for tasks such as training an agent to play StarCraft II, a real-time strategy game where reward is only given at the end of a game which is usually very long. While this problem can be addressed through reward shaping, such approaches typically require a human expert with specialized knowledge. Inspired by the vision of enabling reward shaping through the more-accessible paradigm of natural-language narration, we develop a technique that can provide the benefits of reward shaping using natural language commands. Our narration-guided RL agent projects sequences of natural-language commands into the same high-dimensional representation space as corresponding goal states. We show that we can get improved performance with our method compared to traditional reward-shaping approaches. Additionally, we demonstrate the ability of our method to generalize to unseen natural-language commands.

研究の動機と目的

• 深層強化学習におけるスパarsely-rewarded環境、特にStarCraft IIのような複雑で長時間にわたるタスク環境における報酬の希薄さという課題に取り組むこと。
• 低レベルのプログラミング知識が不要な非専門家にとっても利用可能な自然言語の物語による報酬形状化を可能にすること。
• 埋め込みモデルの再トレーニングなしに、未学習の自然言語命令へも一般化できる手法を開発すること。
• 自然言語ベースの報酬形状化が、従来の形状化およびベースラインRLに比べて学習速度と最終パフォーマンスの面で優れているかどうかを評価すること。

提案手法

• 本手法は、自然言語命令とそれに対応するゴール状態を共有の高次元表現空間にマップするための相互埋め込みモデル（MEM）を用いる。
• 自然言語命令はWord2Vecを用いて埋め込まれるが、ゴール状態はエージェントの観測空間からニューラルネットワークを用いて符号化される。
• MEMは、意味的に類似した命令とゴール状態がベクトル空間内で近接するように、共同埋め込み空間を学習する。
• 形状化された報酬は、埋め込み済みの命令と現在の状態埋め込みとのコサイン類似度として計算され、訓練中に密な中間フィードバックを提供する。
• RLエージェントは、この補助報酬信号と元のスパarsely-rewarded報酬の両方を用いて訓練され、学習効率が向上する。
• 一般化の評価は、RL訓練中に未学習の新しい自然言語命令に対してトレーニング済みのMEMをテストすることで行う。

実験結果

リサーチクエスチョン

• RQ1 接地された自然言語命令を用いた物語ベースの報酬形状化は、従来の形状化および報酬形状化なしのベースラインに比べ、学習パフォーマンスを向上させるか？
• RQ2 相互埋め込みモデルは、埋め込みモデルの再トレーニングなしに、新しい未学習の自然言語命令へどの程度一般化できるか？
• RQ3 新しい言語命令を用いた場合、RLエージェントのパフォーマンスはどの程度低下するか。また、依然として意味のあるタスク完了を達成できるか？
• RQ4 代替的な言語表現による意味の曖昧さが、命令-状態の対応付けの正確性およびその後のRL学習にどのように影響するか？

主な発見

• 物語に従った報酬形状化を施したエージェントは、報酬形状化なしのベースラインに比べて顕著に優れたパフォーマンスを示し、未学習の命令を用いた場合の平均スコアは約25–30であった。
• 相互埋め込みモデルは、未学習の自然言語命令を正しいゴール状態の多様体に正しく投影できており、意味的な一般化が成功したことを示している。
• 「作業者ユニットを選べ」といった意味の曖昧さの高い命令では、投影の正確性が低下し、パフォーマンスに悪影響を及げた。
• 未学習の命令においてパフォーマンスが低下したものの、物語に従った報酬形状化を施したエージェントは依然として報酬形状化なしのベースラインを上回っており、形状化報酬の残存効果が確認された。
• t-SNE可視化により、多くの未学習命令が元の対応する命令の近くに投影されていることが確認されたが、一部の命令はより離れており、それらは学習効率の低さと相関していた。
• 本手法は多様な言語表現に一般化可能であり、複雑なタスク環境における人間とAIの相互作用の可能性を示唆している。