[論文レビュー] Munchausen Reinforcement Learning

Nino Vieillard, Olivier Pietquin+1 more|arXiv (Cornell University)|Jul 28, 2020

Experimental Behavioral Economics Studies被引用数 37

ひとこと要約

本論文は Munchausen Reinforcement Learning (M-RL) を提案し、スケールされた log-policy を報酬に付加して学習をブートストラップする手法である。これにより M-DQN と M-IQN が非分布ベースおよび分布ベースのベースラインを Atari で上回り、暗黙の KL 正則化とアクションギャップの増大に関する理論的洞察を提供する。

ABSTRACT

Bootstrapping is a core mechanism in Reinforcement Learning (RL). Most algorithms, based on temporal differences, replace the true value of a transiting state by their current estimate of this value. Yet, another estimate could be leveraged to bootstrap RL: the current policy. Our core contribution stands in a very simple idea: adding the scaled log-policy to the immediate reward. We show that slightly modifying Deep Q-Network (DQN) in that way provides an agent that is competitive with distributional methods on Atari games, without making use of distributional RL, n-step returns or prioritized replay. To demonstrate the versatility of this idea, we also use it together with an Implicit Quantile Network (IQN). The resulting agent outperforms Rainbow on Atari, installing a new State of the Art with very little modifications to the original algorithm. To add to this empirical study, we provide strong theoretical insights on what happens under the hood -- implicit Kullback-Leibler regularization and increase of the action-gap.

研究の動機と目的

• TD 学習において現在のポリシーをブートストラップ信号として活用する動機付け。
• スケールされた log-policy を報酬に加える、シンプルで汎用的な Munchausen 更新を提案する。
• DQN および IQN に適用し、強力なベースラインと比較して本手法の有効性を示す。
• 暗黙の KL 正則化とアクションギャップ分析による理論的解釈を提供する。

提案手法

• 報酬に alpha × tau × log π(a|s) を加えた TD ターゲットを強化する。
• DQN を最大エントロピー RLへ一般化し、次に Munchausen 成分を導入して M-DQN を得る。
• Munchausen のアイデアを IQN に適用して M-IQN を作成し、Atari で最先端の性能を示す。
• M-DQN を抽象的な動的計画法フレームワークで書き直し、連続するポリシー間の暗黙の KL 正則化を明らかにする。
• アクションギャップの増幅を分析し、M-RL を CVI、DPP、AL へ結びつける。
• Munchausen 成分を分離するための経験的アブレーション実験と、ハイパーパラメータ alpha、tau、log-policy clipping のロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Scaled log-policy を報酬に付加する更新は、標準 TD 法よりサンプル効率と性能を改善するか。
• RQ2 Munchausen RL は Atari で分布推定なしでも競争力あるいは優れた性能を提供できるか。
• RQ3 Munchausen 更新に伴う理論的保証や解釈（例：KL 正則化、アクションギャップの増大）はあるか。
• RQ4 Munchausen RL は IQN などの分布推定 RL 設定へどのように拡張され、最先端のベースラインへ影響するか。

主な発見

Algorithm	Human-normalized Mean	Human-normalized Median	Human-normalized #Improved	Rainbow-normalized Mean	Rainbow-normalized Median	Rainbow-normalized #Improved
M-DQN	340%	124%	37	89%	92%	21
M-IQN	563%	165%	43	130%	109%	38
RAINBOW	414%	150%	43	100%	100%	-
IQN	441%	139%	41	105%	99%	27
C51	339%	111%	33	84%	70%	11
DQN	228%	71%	23	51%	51%	3

• M-DQN は Atari の 60 試合で DQN および C51 を大きく上回り、回帰ターゲットの単純な変更による。
• M-IQN は Rainbow を上回り、非分布ベースの新しい最先端結果を達成し、distRL エージェントと競合する。
• M-DQN および M-IQN は連続するポリシー間の暗黙の KL 正則化効果を享受し、安定性と誤差の平均化を改善する。
• Munchausen フレームワークはアクションギャップを定量的に増加させ、近似誤差に対するロバスト性を高める。
• アブレーション研究は Munchausen 更新が Soft-DQN、AL、Adam DQN を上回り、エントロピー正則化だけでなく Munchausen 項の価値を示す。
• 理論的な関連は M-VI を MD-VI および CVI/DPP/AL 論文へ結びつけ、関数近似が存在する場合の改善された収束特性を説明する境界を提供する。