[論文レビュー] Distributional reinforcement learning with linear function approximation

Marc G. Bellemare, Nicolas Le Roux+2 more|arXiv (Cornell University)|Feb 8, 2019

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、線形関数近似を用いたCramérに基づく分布強化学習アルゴリズムを提案する。C51のソフトマックスとKL損失の代わりに、任意の実数ベクトル上でのCramér距離の直接最小化を採用する。分布強化学習に線形関数近似を組み合わせた場合の最初の形式的収束証明を提供するが、分散の増加と確率的でない出力のため、性能が標準的な価値関数近似より劣ることが実験的に示された。

ABSTRACT

Despite many algorithmic advances, our theoretical understanding of practical distributional reinforcement learning methods remains limited. One exception is Rowland et al. (2018)'s analysis of the C51 algorithm in terms of the Cramér distance, but their results only apply to the tabular setting and ignore C51's use of a softmax to produce normalized distributions. In this paper we adapt the Cramér distance to deal with arbitrary vectors. From it we derive a new distributional algorithm which is fully Cramér-based and can be combined to linear function approximation, with formal guarantees in the context of policy evaluation. In allowing the model's prediction to be any real vector, we lose the probabilistic interpretation behind the method, but otherwise maintain the appealing properties of distributional approaches. To the best of our knowledge, ours is the first proof of convergence of a distributional algorithm combined with function approximation. Perhaps surprisingly, our results provide evidence that Cramér-based distributional methods may perform worse than directly approximating the value function.

研究の動機と目的

• C51で用いられるソフトマックスとKL損失に依存しない理論的裏付けのある分布強化学習アルゴリズムの開発。
• Cramér距離を任意の実数ベクトルに拡張し、関数近似設定での利用を可能にする。
• 方策評価設定において、線形関数近似を組み合わせた分布強化学習の形式的収束保証を提供する。
• 関数近似を組み合わせた分布手法が、標準的な価値関数近似を上回る性能を示せるかを調査する。

提案手法

• モデル出力を不正確率分布として扱うことで、Cramér距離を任意の実数ベクトルに適応する。
• サンプルベースのベルマン作用素に対する勾配降下法を用いて、修正されたCramér距離を直接最小化する新しい分布アルゴリズムを提案する。
• 線形関数近似器を用いて価値分布を表現し、Cramér損失に基づく確率的勾配降下法でパラメータを更新する。
• 出力が正規化されていなくても収束を保証するため、訓練を安定化させる正規化ペナルティを導入する。
• 標準的な線形関数近似の仮定の下で理論的収束バウンドを導出し、最大Cramér距離における収束を示す。
• Dopamineフレームワークを用いて、S51（本手法の名称）をC51およびDQNと比較して実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスやKLダイバージェンスに依存せずに、Cramér距離を最小化する分布強化学習アルゴリズムを構築可能か？
• RQ2 線形関数近似を組み合わせた分布強化学習アルゴリズムの収束を形式的に証明可能か？
• RQ3 Cramér距離の最小化は、期待値を直接近似するのと比較して、より優れた性能をもたらすか？
• RQ4 本手法の予測分布は、C51のものと質的にどのように異なるか？
• RQ5 正規化は、関数近似を組み合わせた分布強化学習の安定性と性能にどのような役割を果たすか？

主な発見

• 提案されたS51アルゴリズムは、標準的な線形関数近似の条件下で収束を達成し、関数近似を組み合わせた分布強化学習における最初の形式的収束証明を提供する。
• 収束はしているが、S51の性能バウンドは標準的な価値関数近似アルゴリズムより劣っており、分布モデル化による性能劣化の可能性を示唆する。
• S51は5つのAtariゲームのうち3つでC51と同等の性能を達成し、正規化がなくても分布学習が依然として有効であることを示している。
• S51モデルは、負の質量を有する多様で確率的でない分布を生成し、ゼロの周辺に補正項が現れるという、ソフトマックス制約のおかげでC51では見られない行動を示す。
• S51ではソフトマックスによる圧縮効果がないため、すべてのリターンにおいてノイジーな予測が生じ、分散の増加とサンプル効率の低下に寄与している可能性がある。
• 実験結果から、C51のパフォーマンス向上要因は損失関数の質だけでなく、正規化と確率的制約による正則化効果にも起因している可能性がある。