[論文レビュー] Distributional Advantage Actor-Critic

Shangda Li, Selina Bing+1 more|arXiv (Cornell University)|Jun 10, 2018

Reinforcement Learning in Robotics参考文献 4被引用数 7

ひとこと要約

本論文は、生のピクセル入力を用いて視覚的に複雑で部分的に観察可能かつ手続き的に生成された環境における1人称ナビゲーションのための分布的アドバンテージアクターキャッチャー（DAAC）手法を提案する。分布的強化学習、アドバンテージ関数推定、および後向き経験リプレイ（HER）を組み合わせることで、スパース報酬設定におけるサンプル効率と性能が向上し、DeepMind Labの「SeekAvoid_Arena」と「Maze Navigation」タスクにおいて、標準のDQNおよびDDPGベースラインを上回る性能を発揮する。

ABSTRACT

In traditional reinforcement learning, an agent maximizes the reward collected during its interaction with the environment by approximating the optimal policy through the estimation of value functions. Typically, given a state s and action a, the corresponding value is the expected discounted sum of rewards. The optimal action is then chosen to be the action a with the largest value estimated by value function. However, recent developments have shown both theoretical and experimental evidence of superior performance when value function is replaced with value distribution in context of deep Q learning [1]. In this paper, we develop a new algorithm that combines advantage actor-critic with value distribution estimated by quantile regression. We evaluated this new algorithm, termed Distributional Advantage Actor-Critic (DA2C or QR-A2C) on a variety of tasks, and observed it to achieve at least as good as baseline algorithms, and outperforming baseline in some tasks with smaller variance and increased stability.

研究の動機と目的

• 生のRGB-D観測を用いて、視覚的に複雑で部分的に観察可能かつ手続き的に生成された3次元ナビゲーション環境におけるエージェントの学習課題に対処すること。
• DQN や DDPG といった伝統的な強化学習アルゴリズムがスパース報酬、高次元の視覚的設定において抱える限界を、高度な技術の統合によって克服すること。
• 分布的強化学習とアドバンテージベースの価値関数推定を組み合わせることで、サンプル効率と学習安定性を向上させる。
• DeepMind Labの「SeekAvoid_Arena」と「Maze Navigation」タスク上で提案手法の性能を評価し、複雑で動的な環境における性能を検証すること。
• HER、アクターキャッチャー構造、および分布的価値学習の統合が、手動の特徴工学を必要としない視覚的ナビゲーションに効果的であることを示すこと。

提案手法

• 期待報酬だけでなく、報酬の全分布をモデル化する分布的強化学習フレームワークを採用し、スパース報酬に対するロバストネスを向上させる。
• アドバンテージ関数推定を統合して価値関数学習を精緻化し、ポリシー更新の安定性とサンプル効率を向上させる。
• 失敗した軌道を目的の再ラベル付けによって再定式化する後向き経験リプレイ（HER）を適用し、スパース報酬環境における意味のある学習信号を提供する。
• 生のRGB-D観測を直接処理するための深層畳み込みニューラルネットワークを用い、手動の特徴抽出の必要性を排除する。
• ポリシー（アクター）と価値関数（クリティック）のための別々のネットワークを備えたアクターキャッチャー構造を実装し、経験リプレイを用いたオフポリシー学習を活用する。
• ユニバーサル価値関数近似（UVFA）を用いてQ関数を状態-行動ペアに加え、目的にも依存する形に拡張し、動的環境における目的条件付き学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生のピクセル入力を用いた分布的アドバンテージアクターキャッチャー枠組みは、視覚的に複雑で部分的に観察可能かつ手続き的に生成された3次元環境において、ナビゲーションポリシーを効果的に学習できるか？
• RQ2 HERを分布的およびアドバンテージベースの価値学習と組み合わせることで、スパース報酬ナビゲーションタスクにおけるサンプル効率はどのように向上するか？
• RQ3 UVFAの統合により、開始状態と目的状態が変化する環境において、どの程度効果的な目的条件付き学習が可能になるか？
• RQ4 提案手法は、DeepMind Labのタスクにおいて、標準のDQNおよびDDPGベースラインと比較して、学習速度と最終的性能の両面で優れているか？
• RQ5 高次元の視覚的ナビゲーションシナリオにおいて、生のピクセルからのエンドツーエンド学習は、線形モデルや手動で設計された特徴量を上回る性能を発揮するか？

主な発見

• ランダムポリシーは、すべての環境で1000ステップで報酬がゼロであったため、タスクの難易度が高く、構造的な学習アプローチの必要性が確認された。
• 生のピクセル入力を用いた線形モデルは性能が低く、単純な関数近似器では高次元の視覚的観測には不十分であることが示された。
• 手動による特徴抽出は汎用的でないと判断され、生のピクセルからのエンドツーエンド学習の必要性が強調された。
• 畳み込みニューラルネットワークによる特徴抽出の導入により、線形モデルに比べて性能が著しく向上し、視覚入力からの有効な表現学習が可能になった。
• HER、分布的価値学習、およびアドバンテージベースのクリティック学習の統合により、標準のDQNおよびDDPGに比べ、サンプル効率が向上し、収束が速くなった。
• 提案されたDAACフレームワークは、特にスパース報酬と動的環境の処理において、『SeekAvoid_Arena』および『Maze Navigation』タスクでベースラインアルゴリズムを上回る優れた性能を示した。