[論文レビュー] Statistics and Samples in Distributional Reinforcement Learning

Mark Rowland, Robert Dadashi+4 more|arXiv (Cornell University)|Feb 21, 2019

Evolutionary Algorithms and Applications被引用数 24

ひとこと要約

本稿は、報酬分布統計の再帰的推定と分布再構築のための補完戦略を組み合わせることで、分布的強化学習（DRL）の統一的枠組みを提示する。期待値分布強化学習（EDRL）を提案し、モーメントを一般化するロバスト統計である期待値を学習することで、より優れたサンプル効率と分布近似性能を達成する。ER-DQNはアタリ-57スイートで最先端の性能を達成した。

ABSTRACT

We present a unifying framework for designing and analysing distributional reinforcement learning (DRL) algorithms in terms of recursively estimating statistics of the return distribution. Our key insight is that DRL algorithms can be decomposed as the combination of some statistical estimator and a method for imputing a return distribution consistent with that set of statistics. With this new understanding, we are able to provide improved analyses of existing DRL algorithms as well as construct a new algorithm (EDRL) based upon estimation of the expectiles of the return distribution. We compare EDRL with existing methods on a variety of MDPs to illustrate concrete aspects of our analysis, and develop a deep RL variant of the algorithm, ER-DQN, which we evaluate on the Atari-57 suite of games.

研究の動機と目的

• 報酬分布統計の再帰的推定に基づく統一的統計的枠組みを用いて、既存のDRLアルゴリズムを統合すること。
• 統計推定量と分布補完戦略の区別により、DRLアルゴリズムの分析と設計の課題に取り組むこと。
• ベルマン更新を用いて正確に学習可能な統計量（例：モーメント、分位数、期待値）を同定し、そうでない統計量について誤差の保証を提供すること。
• 期待値推定に基づく新たなDRLアルゴリズムEDRLを開発し、より優れたロバスト性と分布近似性能を実現すること。
• EDRLおよびその深層強化学習版ER-DQNを、表形式MDPとアタリ-57環境で評価し、理論的主張を検証すること。

提案手法

• DRLを二段階のプロセスとして形式化する：(1) 報酬分布の統計量（例：モーメント、期待値）を再帰的に推定し、(2) それらの統計量と整合する完全な分布を補完する。
• ベルマン閉包性の概念を導入し、ベルマン更新によって正確に学習可能な統計量を特定する。その結果、唯一モーメントがこの性質を満たすことが示された。
• 非閉包統計量（分位数、期待値など）の近似誤差を定量化・境界化するための近似ベルマン閉包性を提案する。
• 統計的枠組みから導出された微分可能で勾配ベースの更新則を用いて、期待値を推定するEDRLを新規に開発する。
• ニューラルネットワークを用いて期待値関数を表現し、期待値回帰に基づく微分可能な損失関数で学習する。ER-DQNをEDRLの深層強化学習拡張として構築する。
• 推定された統計量から補完されたサンプルを用いてベルマンバックアップをシミュレートし、エンドツーエンドの学習と評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統計的推定と分布補完を基盤とする枠組みによって、既存のDRLアルゴリズムを統合できるか？
• RQ2 ベルマン更新を用いて正確に学習可能な報酬分布の統計量は何か？
• RQ3 ベルマン閉包性を満たさない統計量について、理論的誤差保証を持つ原理的推定手法を導出できるか？
• RQ4 期待値に基づく新たなDRLアルゴリズムを設計できるか？また、分布近似性能とサンプル効率の面で、既存手法を上回るか？
• RQ5 新アルゴリズムの深層強化学習版（ER-DQN）は、アタリ-57のような標準ベンチマークで最先端の性能を達成するか？

主な発見

• EDRLはEDRL-Naiveよりも期待値推定と分布再構築において優れている。特に長時間スパンや高分散環境では、安定した学習ダイナミクスのおかげで顕著な性能向上が見られた。
• EDRLに含まれる期待値の数が増えるほど、補完された分布と真の報酬分布とのワルシャワ距離が減少し、より良い分布近似が達成される一方、EDRL-Naiveは期待値数の増加に伴い性能が劣化する。
• ER-DQNはアタリ-57スイートで最先端の性能を達成し、57ゲームすべてでQR-DQNや他のベースラインを上回る中央値のヒューマン正規化スコアを記録した。
• N-Chain環境では、EDRLは長時間スパンでも正確な期待値推定を維持するが、EDRL-Naiveは崩壊する。これは適切な統計的推定の重要性を示している。
• この枠組みにより、ベルマン閉包性を満たさないにもかかわらず効果的であることが示された。特に、QR-DQNのような分位数ベース手法は、近似ベルマン閉包性の下で低い近似誤差を達成する。
• 実験的結果から、特に重尾分布の報酬を持つ状況では、分位数よりも期待値がよりロバストで情報量が多い報酬分布の要約を提供することが確認された。