[論文レビュー] Deep Abstract Q-Networks

Melrose Roderick, Christopher Grimm+1 more|arXiv (Cornell University)|Oct 2, 2017

Reinforcement Learning in Robotics参考文献 14被引用数 7

ひとこと要約

本論文では、モンテズマのレインボーやベントチャなどの長時間スパンで報酬が得られにくい環境を解消するため、深層Qネットワークとエキスパートが提供する状態抽象化を組み合わせた階層的強化学習手法であるDeep Abstract Q-Networks (DAQN) を提案する。シンボリックな高レベル状態抽象化（例：部屋や鍵の所持状況）とピクセルベースの低レベル表現を用いることで、効果的な長期計画とバックトラッキング行動が可能となり、DQN や内発的動機付け手法に比べて、挑戦的なアーケードゲームで顕著な性能向上を達成する。

ABSTRACT

We examine the problem of learning and planning on high-dimensional domains with long horizons and sparse rewards. Recent approaches have shown great successes in many Atari 2600 domains. However, domains with long horizons and sparse rewards, such as Montezuma's Revenge and Venture, remain challenging for existing methods. Methods using abstraction (Dietterich 2000; Sutton, Precup, and Singh 1999) have shown to be useful in tackling long-horizon problems. We combine recent techniques of deep reinforcement learning with existing model-based approaches using an expert-provided state abstraction. We construct toy domains that elucidate the problem of long horizons, sparse rewards and high-dimensional inputs, and show that our algorithm significantly outperforms previous methods on these domains. Our abstraction-based approach outperforms Deep Q-Networks (Mnih et al. 2015) on Montezuma's Revenge and Venture, and exhibits backtracking behavior that is absent from previous methods.

研究の動機と目的

• モンテズマのレインボーやベントチャのような高次元環境における、長時間スパンで報酬が得られにくい強化学習の課題に対処すること。
• 従来の手法の限界（特にバックトラッキングや長期計画ができないこと）を克服するため、モデルベースの抽象化と深層強化学習を統合すること。
• 状態空間を意味のある属性に分解する軽量でエキスパート提供の状態抽象化を通じて、強力で再利用可能な高レベル方策を学習可能にすること。
• 階層的抽象化と深層学習の統合が、エンドツーエンドの深層強化学習や内発的動機付けアプローチと比較して、探索効率と長期計画の効率を向上させることを示すこと。

提案手法

• エキスパートが提供する状態抽象化を用いて、シンボリックな高レベル状態（例：現在の部屋、鍵の所持状況）を定義し、観測空間全体をこれらの抽象状態にマッピングする。
• 抽象マーカフォルト決定過程（AMDP）の形式的定式化を用い、学習を高レベルの表形式MDP（長期計画用）と低レベルの深層Qネットワーク（ピクセルレベル制御用）に分離する。
• 述語関数を用いて高レベル状態を要因分解（例：部屋、セクタ、アイテム収集状況）することで、行動空間の組み合わせ爆発を回避する。
• 高レベル方策が抽象的行動（例：「部屋3へ移動」）を選択し、低レベル方策が対応する視覚的ナビゲーションをDQNを用いて実行する階層的エージェントを訓練する。
• 二段階の学習スキームを採用：L1エージェント（高レベル）は表形式Q学習により長期方策を学習し、L0エージェント（低レベル）は深層Q学習により状態-行動価値を学習する。
• 高レベルエージェントが抽象状態を用いて計画を実行し、低レベルエージェントが詳細な視覚的制御を処理することで、バックトラッキングと長時間スパンの実行が可能になる。

実験結果

リサーチクエスチョン

• RQ1 エキスパートが提供する抽象化を用いた階層的強化学習フレームワークは、モンテズマのレインボーやベントチャのような長時間スパンで報酬が得られにくい環境において、標準的な深層Qネットワークを上回る性能を発揮するか？
• RQ2 モデルベースの抽象化と深層学習の統合により、過去の深層強化学習手法が失敗する長期計画に不可欠なバックトラッキング行動が可能になるか？
• RQ3 報酬が得られにくい環境と高次元観測を持つ状況において、本手法の性能は内発的動機付けベースのエージェント（例：IM）と比較してどうなるか？
• RQ4 軽量で要因分解された状態抽象化を用いることで、長時間スパンの計画の複雑さはどの程度軽減され、学習効率は維持されるのか？

主な発見

• DAQNはモンテズマのレインボーやベントチャにおいて、深層Qネットワーク（DQN）を顕著に上回り、累積報酬が高く、訓練の繰り返しにおいても一貫性のある性能を示した。
• DAQNエージェントは、マルチルームナビゲーションタスクに不可欠なバックトラッキング行動を効果的に学習・実行したが、DQN や内発的動機付け（IM）エージェントはそのような行動を達成できなかった。
• モンテズマのレインボーの1ライフ設定において、IMエージェントはその擬似カウントモデルが場所と鍵の所持状況を独立して扱うため、高カウント状態への再訪問を抑制し、バックトラッキングを学習できなかった。
• ベントチャにおいて、DAQNはDQNおよびIMベースラインを上回る評価性能を達成し、4つの部屋とホールの間を横断する効果的な長期計画を実現した。
• ベントチャにおいて約3000万フレームの地点で、探索中の利用方策における深刻な忘却（catastrophic forgetting）が観測されたが、全探索が完了した後、元の性能が回復した。
• 本手法の成功は、高レベル計画（表形式）と低レベル制御（深層）の分離に起因し、最小限の人為的抽象化の設計で、長期スパンの方策の安定的学習が可能になったことによる。