[論文レビュー] Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration

Lukas Schäfer, Filippos Christianos+2 more|arXiv (Cornell University)|Jul 19, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、内発的探索と外発的活用のための別々のポリシーを学習する枠組みであるDecoupled Reinforcement Learning (DeRL) を提案する。この手法により、内発的報酬に基づく探索の安定性が向上する。探索と活用を分離することで、DeRL は内発的報酬のハイパーパrameterに対するロバスト性が向上し、スパース報酬環境において収束が速く、より高いサンプル効率を達成する。

ABSTRACT

Intrinsic rewards can improve exploration in reinforcement learning, but the exploration process may suffer from instability caused by non-stationary reward shaping and strong dependency on hyperparameters. In this work, we introduce Decoupled RL (DeRL) as a general framework which trains separate policies for intrinsically-motivated exploration and exploitation. Such decoupling allows DeRL to leverage the benefits of intrinsic rewards for exploration while demonstrating improved robustness and sample efficiency. We evaluate DeRL algorithms in two sparse-reward environments with multiple types of intrinsic rewards. Our results show that DeRL is more robust to varying scale and rate of decay of intrinsic rewards and converges to the same evaluation returns than intrinsically-motivated baselines in fewer interactions. Lastly, we discuss the challenge of distribution shift and show that divergence constraint regularisers can successfully minimise instability caused by divergence of exploration and exploitation policies.

研究の動機と目的

• 非定常な報酬形状とハイパーパrameterへの感受性によって引き起こされる、内発的報酬に基づく探索の不安定性を解消すること。
• 内発的報酬スケールと減衰率の手動によるハイパーパラメータチューニングへの依存度を低減すること。
• スパース報酬環境におけるサンプル効率と学習の一貫性を向上させること。
• 探索ポリシーの学習を活用ポリシー最適化から分離することで、学習の安定性を高めること。
• 探索ポリシーと活用ポリシー間の分布シフトが学習に与える影響を調査し、発散を緩和する正則化手法を提案すること。

提案手法

• 外発的報酬 r^e と内発的報酬 r^i を組み合わせた報酬信号 r = r^e + λr^i を用いて、探索ポリシー πβ を学習する。
• 探索ポリシー πβ が収集した軌道上で、外発的報酬 r^e のみを用いて、活用ポリシー πe を学習する。
• オフポリシーおよびオンポリシー強化学習アルゴリズム（例：SAC, A2C）を用いて、πβ と πe を別々に学習する。
• πβ と πe 間のKLダイバージェンス制約を適用し、分布シフトを最小限に抑えて学習を安定化させる。
• 複数の内発的報酬タイプを評価：カウントベース（Ostrovski et al.）、キュリオシティ（Pathak et al.）、内発的キュリオシティ（Burda et al.）。
• ポリシー学習を分離することで、内発的報酬の影響が主なポリシー最適化に与える影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 探索と活用の分離は、スケールや減衰率といった内発的報酬ハイパーパラメータへの感受性を低減できるか？
• RQ2 標準的な内発的動機付け手法と比較して、DeRL はより速い収束と高いサンプル効率を達成できるか？
• RQ3 探索ポリシーと活用ポリシー間の分布シフトが学習の安定性に与える影響は何か？
• RQ4 発散正則化（例：KL制約）は、DeRL の学習を効果的に安定化させることができるか？
• RQ5 DeRL は多様な内発的報酬メカニズムとスパース報酬環境においても性能を維持できるか？

主な発見

• DeRL は内発的報酬ベースラインと同等の最終評価報酬を達成するが、環境との相互作用回数を著しく削減しており、より高いサンプル効率であることが示された。
• DeepSea 10 環境において、カウントベースの内発的報酬を用いた DeRL は、すべてのカウントインクリメントで 0.99±0.00 の最大報酬に到達し、ハイパーパラメータの変動下でも標準ベースラインを上回った。
• KLダイバージェンス制約（αβ = αe = 0.1）を適用した場合、内発的報酬を 0.01 にスケーリングしても安定した性能を維持したが、正則化なしの設定ではそのようなスケーリングで崩壊（collapse）が生じた。
• ハリューウェイ環境では、制約付きの DeRL がすべてのカウントインクリメントで平均報酬 0.84±0.07 を達成したが、正則化なしのバージョンは内発的報酬が小さすぎると 0.00±0.00 に崩壊した。
• 内発的報酬のみ（r = λr^i）を用いた DeRL は、ほとんどの設定で学習に失敗した。これは、安定な活用のためには外発的報酬が不可欠であることを確認した。
• DeRL は内発的報酬スケールと減衰率に対してロバストであり、0.01 から 100.0 の 7 種類のカウントインクリメント値において一貫した性能を示した。これに対して、標準ベースラインは極端な設定では失敗した。