[論文レビュー] Self-Imitation Advantage Learning

Johan Ferret, Olivier Pietquin+1 more|arXiv (Cornell University)|Dec 22, 2020

Reinforcement Learning in Robotics参考文献 49被引用数 8

ひとこと要約

本論文では、スパース報酬およびハードな探索環境における学習効率を向上させるために、オフポリシー強化学習における自己模倣の一般化であるSAIL（Self-Imitation Advantage Learning）を提案する。観測された報酬と現在の行動価値のうちより楽観的な方の推定値を用いることで、SAILは古くなった報酬の問題を軽減し、特に困難なゲームにおいて、Arcade Learning Environment上でのDQNおよびIQNエージェントの性能を向上させる。

ABSTRACT

Self-imitation learning is a Reinforcement Learning (RL) method that encourages actions whose returns were higher than expected, which helps in hard exploration and sparse reward problems. It was shown to improve the performance of on-policy actor-critic methods in several discrete control tasks. Nevertheless, applying self-imitation to the mostly action-value based off-policy RL methods is not straightforward. We propose SAIL, a novel generalization of self-imitation learning for off-policy RL, based on a modification of the Bellman optimality operator that we connect to Advantage Learning. Crucially, our method mitigates the problem of stale returns by choosing the most optimistic return estimate between the observed return and the current action-value for self-imitation. We demonstrate the empirical effectiveness of SAIL on the Arcade Learning Environment, with a focus on hard exploration games.

研究の動機と目的

• 元々オンポリシー手法向けに設計された自己模倣学習を、オフポリシー強化学習の文脈へと拡張すること。
• オフポリシー自己模倣における古くなった報酬の問題を解消し、学習が楽観的になるのを防ぐこと。
• DQNやIQNのような標準的なオフポリシーアルゴリズムと互換性を持つ、汎用的で軽量な手法を開発すること。
• スパース報酬およびハードな探索環境におけるサンプル効率と性能を向上させること。
• 自己模倣とアドバンテージ学習を結びつけ、行動ギャップの最大化という点で両者の利点を統合すること。

提案手法

• SAILは、自己模倣における観測報酬を、観測報酬と現在の行動価値推定値の最大値に置き換えることで、ベルマン最適性作用素を変更する。
• 観測報酬がより楽観的である場合にのみ、観測報酬と推定価値の差に基づく修正された報酬ボーナスを用いる。
• 行動価値学習には標準的な時系列差分更新を維持しつつ、修正された報酬推定値を通じて自己模倣を統合する。
• 明示的および暗黙的ポリシーの両方と互換性があり、DQNやIQNのような標準的なオフポリシーアルゴリズムへの統合が可能である。
• SAILはアドバンテージ学習と正式に接続されており、両者とも行動ギャップの最大化を目的としているが、SAILは高報酬軌道の自己模倣を通じてそれを達成する。
• 本手法は、ターゲットネットワークの更新をわずかに修正する形で実装されており、既存のオフポリシーアルゴリズムへの変更が最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 自己模倣は、オフポリシー強化学習アルゴリズムへと効果的に一般化可能か？
• RQ2 オフポリシー自己模倣における古くなった報酬の問題をどのように軽減できるか？特に、高報酬経験の楽観的性質を保つことができるか？
• RQ3 自己模倣と行動価値学習を組み合わせることで、スパース報酬およびハードな探索環境における性能が向上するか？
• RQ4 SAILはアドバンテージ学習とどのように関係するか？また、補完的または統合的フレームワークと見なせるか？
• RQ5 SAILは、顕著なアーキテクチャ変更なしに、さまざまなオフポリシーアルゴリズムに広く適用可能か？

主な発見

• SAILは、Arcade Learning Environmentベンチマーク上での複数のオフポリシーアルゴリズム（DQNやIQNを含む）において、一貫して性能向上を達成する。
• スパース報酬のため学習が困難なハードな探索ゲーム、例えばMontezuma’s Revenge や Pitfall! においても、顕著な性能向上を達成する。
• SAILの性能向上は、古くなった報酬による劣化を防ぐことのできる楽観的報酬推定値の維持に起因する。
• 既存のアルゴリズムへのSAIL統合には最小限のコード変更で済むため、軽量かつ実用的な強化手段である。
• 実騴的結果から、SAILは行動ギャップを効果的に拡大しており、理論的接続であるアドバンテージ学習と整合的である。
• SAILはRNDのような内発的動機付け手法とも良好に連携しており、組み合わせることでさらなる性能向上が期待できる。