[論文レビュー] Leverage the Average: an Analysis of Regularization in RL

Nino Vieillard, Tadashi Kozuno+4 more|arXiv (Cornell University)|Mar 31, 2020

Reinforcement Learning in Robotics参考文献 42被引用数 19

ひとこと要約

本稿は強化学習におけるKL正則化を分析し、価値反復中にQ値を暗黙的に平均化することにより、線形のホライズン依存性と誤差の平均化（蓄積ではない）を示す新たな性能バウンドを導出することを明らかにする。理論的枠組みはエントロピー正則化RLへ拡張可能であり、複数の既存アルゴリズムを統一する。実験的検証により分析が補完されるが、ニューラルネットワーク設定における制限も存在する。

ABSTRACT

Recent Reinforcement Learning (RL) algorithms making use of Kullback-Leibler (KL) regularization as a core component have shown outstanding performance. Yet, only little is understood theoretically about why KL regularization helps, so far. We study KL regularization within an approximate value iteration scheme and show that it implicitly averages q-values. Leveraging this insight, we provide a very strong performance bound, the very first to combine two desirable aspects: a linear dependency to the horizon (instead of quadratic) and an error propagation term involving an averaging effect of the estimation errors (instead of an accumulation effect). We also study the more general case of an additional entropy regularizer. The resulting abstract scheme encompasses many existing RL algorithms. Some of our assumptions do not hold with neural networks, so we complement this theoretical analysis with an extensive empirical study.

研究の動機と目的

• KL正則化が強化学習で性能を向上させる理由を理論的に理解すること。
• 近似価値反復フレームワーク内でのKL正則化を分析し、Q値の暗黙的平均化を明らかにすること。
• 計画ホライズンに線形依存性を示し、誤差蓄積を低減する平均化によって誤差伝搬を抑える性能バウンドを導出すること。
• エントロピー正則化を含めた分析を拡張し、既存のRLアルゴリズムを統一すること。
• 特に仮定が成り立たない非表形式設定においても、理論的洞察を実験的に検証すること。

提案手法

• 近似価値反復スキーム内にKL正則化を形式化し、Q値更新への影響を分析する。
• KL正則化が状態間でQ値を暗黙的に平均化し、推定誤差への感受性を低下させることを示す。
• 計画ホライズンに線形に依存する性能バウンドを導出する。これは従来の2次的依存性を回避する。
• 追加のエントロピー正則化子を組み込み、フレームワークをより広範なRLアルゴリズムへ一般化する。
• 抽象的スキームがSAC や PPO などの既存アルゴリズムの主要要素を捉えており、理論的統一を可能にする。
• 特に理論的仮定が成り立たない深層強化学習設定においても、性能と頑健性を評価する包括的な実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 RLにおけるKL正則化はどのように一般化性能と性能を向上させるのか？
• RQ2 KL正則化がQ値更新に与える背後的なメカニズムは何か？
• RQ3 計画ホライズンに2次的依存性を示さず、誤差蓄積を回避する性能バウンドを導出可能か？
• RQ4 エントロピー正則化の組み込みがアルゴリズムの理論的性質に与える影響は何か？
• RQ5 理論的洞察は、ニューラルネットワークを用いた深層RL設定においてどの程度有効に保たれるか？

主な発見

• KL正則化は価値反復中にQ値を暗黙的に平均化し、推定誤差の影響を低減する。
• 本稿は計画ホライズンに線形依存性を示す最初の性能バウンドを導出しており、従来の2次的バウンドに比べ顕著に改善されている。
• バウンド内の誤差伝搬項は誤差蓄積ではなく平均化効果を反映しており、頑健性が向上する。
• 理論的枠組みはエントロピー正則化を含め一般化され、複数の既存RLアルゴリズムを1つの抽象的スキームで統一する。
• 実験的結果は理論的洞察を裏付けているが、深層RL設定では一部の仮定が成り立たないことが判明し、さらなる研究の必要性が示唆される。