[論文レビュー] The NetHack Learning Environment

Heinrich Küttler, Nantas Nardelli+5 more|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 56被引用数 40

ひとこと要約

この論文は NetHack Learning Environment (NLE) を紹介します。高速で複雑な procedurally generated RL ベンチマークで NetHack に基づく、タスク群、ベースライン、エージェントの挙動と一般化の分析を含みます。

ABSTRACT

Progress in Reinforcement Learning (RL) algorithms goes hand-in-hand with the development of challenging environments that test the limits of current methods. While existing RL environments are either sufficiently complex or based on fast simulation, they are rarely both. Here, we present the NetHack Learning Environment (NLE), a scalable, procedurally generated, stochastic, rich, and challenging environment for RL research based on the popular single-player terminal-based roguelike game, NetHack. We argue that NetHack is sufficiently complex to drive long-term research on problems such as exploration, planning, skill acquisition, and language-conditioned RL, while dramatically reducing the computational resources required to gather a large amount of experience. We compare NLE and its task suite to existing alternatives, and discuss why it is an ideal medium for testing the robustness and systematic generalization of RL agents. We demonstrate empirical success for early stages of the game using a distributed Deep RL baseline and Random Network Distillation exploration, alongside qualitative analysis of various agents trained in the environment. NLE is open source at https://github.com/facebookresearch/nle.

研究の動機と目的

• 探索、計画、記憶、転移を難易度高く促す、速くかつ豊かに複雑な環境で強化学習研究を刺激する。
• NetHack を囲む Gym 互換インタフェースを提供し、スケーラブルな実験を可能にする。
• 長期的な目標と象徴的な観測空間での学習と一般化を示す初期タスク群とベースラインを公開する。
• エージェントの挙動、シード間の一般化、および探索戦略の影響の分析を促進する。

提案手法

• NLE を NetHack 3.6.6 に基づく Gym 環境として実装し、制御されたシード設定と Python フロントエンドを通じた内部状態へのアクセスを提供する。
• 象徴的で多モーダルな観測（glyphs、chars、colors、specials、blstats、message、inv_* フィールド）を定義し、93 アクション（77 コマンド + 16 移動）を持つ。
• グリフ埋め込み、2D 畳み込み、およびMLPを用いて潜在観測を生成する自己中心的表現を採用し、それを LSTM ベースのポリシーと結合する。
• IMPALA (TorchBeast) で 1B ステップ、乱数化されたシードと複数のキャラクター構成でベースラインエージェントを訓練する。
• スパース報酬・高分散環境での探索を促進するため、RND（Random Network Distillation）を用いてベースラインを拡張する。
• エージェントの挙動とアクション分布を解析するダッシュボードとリプレイツールを提供する。

実験結果

リサーチクエスチョン

• RQ1 NetHack のような高速で procedurally 生成され、象徴的に豊かな環境が、長期的な計画と探索を可能にする頑健な強化学習手法を促進できるか。
• RQ2 NetHack のタスクに対するベースラインのモデルフリー RL 手法の性能はどうか、内部探索報酬（例：RND）が学習と一般化に与える影響はどうか？
• RQ3 未知のシードや長期的な目的に対する一般化において、キャラクター構成、シード多様性、モデル容量の役割は何か？
• RQ4 NetHack のような複雑で多エンティティ、象徴的環境で学習する際に、どのような定性的な失敗モードと戦略が現れるか？
• RQ5 RLにおける転移、 lifelong 学習、デモからの学習を評価するために NetHack はどれほど適しているか？

主な発見

• IMPALA と RND で訓練されたベースラインエージェントは、複数のキャラクター構成に跨る NetHack 初期段階に対して多様なポリシーを学習できる。
• Random Network Distillation はいくつかのサブゴール（例：階段のナビゲーション）で実質的な向上をもたらし、スパース報酬下での探索を支援するが、効果はタスクと役割によって異なる。
• 訓練シード集合が大きいほど一般化が向上する。少なくとも1000シードで訓練すると訓練とテストの性能差が縮まり、 memorization の低下を示す。
• エージェントは下層へ進む際の戦闘による死亡など、固有の失敗モードを示し、長期的タスクのための堅 robust 表現と計画の必要性を露呈する。
• 象徴的観測空間と長いエピソードの視野は、一般化、階層的計画、そして RL における lifelong 学習を検証する適切なベンチマークである。