[論文レビュー] An Analysis of Categorical Distributional Reinforcement Learning

Mark Rowland, Marc G. Bellemare+3 more|arXiv (Cornell University)|Feb 22, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 40

ひとこと要約

この論文は分類分布強化学習（CDRL）の理論的枠組みを構築し、Cramér距離に基づく射影ステップを用いたサンプルベースのCDRL手法の収束を証明し、離散化による近似誤差を定量化する。

ABSTRACT

Distributional approaches to value-based reinforcement learning model the entire distribution of returns, rather than just their expected values, and have recently been shown to yield state-of-the-art empirical performance. This was demonstrated by the recently proposed C51 algorithm, based on categorical distributional reinforcement learning (CDRL) [Bellemare et al., 2017]. However, the theoretical properties of CDRL algorithms are not yet well understood. In this paper, we introduce a framework to analyse CDRL algorithms, establish the importance of the projected distributional Bellman operator in distributional RL, draw fundamental connections between CDRL and the Cramér distance, and give a proof of convergence for sample-based categorical distributional reinforcement learning algorithms.

研究の動機と目的

• 戻り値が期待値ではなく分布である分布型RLの研究を動機づけ、公式化する。
• カテゴリカル分布型RL（CDRL）の統一的フレームワークを導入し、主要な近似を特定する。
• 離散化と射影が学習ダイナミクスと収束に与える影響を分析する。
• 方策評価と制御の両方におけるサンプルベースのCDRLアルゴリズムの収束結果を確立する。

提案手法

• 戻り値の分布と分布型ベルマン演算子を定義する。
• 固定サポート上のカテゴリカル分布のパラメトリック族を導入する。
• Bellmanバックアップ後にパラメトリック族へ戻す射影演算子 Pi_C を用いる。
• 学習には勾配（KL）更新またはミックス更新を用いた確率近似法を採用する。
• Cramér距離（ell_2）で射影演算子の収束性を証明し、収束結果を導出する。
• 有限グリッド誤差境界を提供し、離散化の粒度に関する含意を議論する。

実験結果

リサーチクエスチョン

• RQ1 Cramér距離射影を用いた射影分布型ベルマン演算子は収縮性を保ち、収束を保証するか？
• RQ2 離散化（カテゴリカルサポート）は真の戻り分布と最適方策への近似にどのような影響を与えるか？
• RQ3 確率的更新を伴うサンプルベースのCDRLは方策評価と制御（Q-learning）で意味のある極限へ収束できるか？
• RQ4 射影を伴う分布更新を用いた学習が最適性を保つのを保証する要件は何か？
• RQ5 CDRLアルゴリズムの収束と安定性における射影の役割は何か？

主な発見

• 合成演算子 Pi_C T^π は Cramér 距離の下で sqrt(γ)-収束であり、固有点 η_C を一意に与える。
• 極限分布 η_C は真の η_π を近似し、誤差境界は格子間隔と 1/(1−γ) に比例して拡大する。
• Robbins–Monro のステップサイズを用いた確率的混合更新は、方策評価においてほぼ確実に η_C に収束する。
• 特定の条件下で、対応するカテゴリカルQ学習は極限 η_C^* に収束し、その greedyポリシーが最適方策 π^* となる。
• Cramér射影はヒルベルト様の空間における直交射影として重要な役割を果たし、収束と収束解析を可能にする。
• このフレームワークは、離離散化と射影がどのように相互作用して、扱いやすく、証明可能な収束を持つCDRLアルゴリズムを生み出すかを明らかにする。