[論文レビュー] Self-Imitation Learning via Generalized Lower Bound Q-learning

Yunhao Tang|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 48被引用数 11

ひとこと要約

本稿では、nステップ下界Q学習を用いた一般化自己模倣学習（SIL）を提案する。元来のSILを拡張し、固定点誤差と収縮率のバランスを取る制御された正のバイアスを導入することで、オフポリシー強化学習を改善する。本手法は、重要度サンプリングを用いない高オフポリシー性データからの安定的で長時間にわたる学習を可能にし、標準的PPOおよびベースラインオフポリシー手法を、連続的制御ベンチマークで上回る性能を発揮する。

ABSTRACT

Self-imitation learning motivated by lower-bound Q-learning is a novel and effective approach for off-policy learning. In this work, we propose a n-step lower bound which generalizes the original return-based lower-bound Q-learning, and introduce a new family of self-imitation learning algorithms. To provide a formal motivation for the potential performance gains provided by self-imitation learning, we show that n-step lower bound Q-learning achieves a trade-off between fixed point bias and contraction rate, drawing close connections to the popular uncorrected n-step Q-learning. We finally show that n-step lower bound Q-learning is a more robust alternative to return-based self-imitation learning and uncorrected n-step, over a wide range of continuous control benchmark tasks.

研究の動機と目的

• 自己模倣学習（SIL）を、元来の報酬ベースの定式化を超えて形式化・一般化し、柔軟性と適用可能性を向上させること。
• SILにおける固定点バイアスと収縮率のトレードオフを分析し、補正なしnステップQ学習と理論的類似性を明らかにすること。
• 広範な連続的制御環境において、補正なしnステップQ学習および報酬ベースSILと比較して、一般化SILがより一貫性があり優れた性能を示すことを実証的に示すこと。
• 重要度サンプリングに基づくオフポリシー手法の代替手段として、高い分散を回避しつつオフポリシーデータからの有効な学習を維持する理論的根拠に基づいた、ロバストな代替手法を提供すること。

提案手法

• 元来の報酬ベース下界を部分的軌道および学習済みQ関数へ拡張した一般化nステップ下界Q学習作用素を提案する。
• nステップ下界をターゲットとして使用する自己模倣学習アルゴリズムの族を導入し、高パフォーマンスな行動方策遷移からのブートストラップを可能にする。
• 学習済みQ関数を用いて下界をブートストラップすることで、すくないまたは遅延する報酬環境でも効果的に動作する。
• 評価作用素の固定点における正のバイアスを導入し、高報酬行動軌道からの学習を体系的に促進する。
• 決定論的および確率的アクタクリティックフレームワークの両方へ適用可能であり、元来のSILを超えた適用範囲を広げる。
• 長時間にわたる信用配分と分散低減のバランスを取るために、nステップ報酬の切り捨てを用いる。これにより、完全な重要度サンプリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 自己模倣学習は、報酬ベースの定式化を超えてどのように一般化され、サンプル効率と柔軟性が向上するか？
• RQ2 nステップ下界Q学習における固定点バイアスと収縮率の理論的トレードオフは何か？補正なしnステップQ学習と比較するとどうなるか？
• RQ3 一般化nステップ下界Q学習アプローチは、多様な連続的制御ベンチマークで、報酬ベースSILおよび補正なしnステップQ学習を上回る性能を示せるか？
• RQ4 下界作用素に導入された正のバイアスは、補正なしnステップ手法における任意のバイアスと比較して、より安定的かつ一貫性のある学習をもたらすか？
• RQ5 nの選択が異なる環境における性能に与える影響は何か？また、nをタスクごとに適応させることに利点はあるか？

主な発見

• 一般化nステップ下界Q学習は、補正なしnステップQ学習と同様に、固定点バイアスと収縮率の良好なトレードオフを達成するが、ポリシー改善と整合する保証付きの正のバイアスを有する。
• 本手法は、OpenAI Gymの連続的制御ベンチマーク4つ（HalfCheetah, Ant, Walker2d, Humanoid）において、標準的PPOおよびベースラインオフポリシー手法を上回る性能を発揮する。
• AntおよびHumanoidでは、n=5の一般化SILが、標準的SIL（n→∞）よりも顕著に優れた性能を示しており、完全な時間窓にわたる模倣よりも中間的なn値がより効果的である可能性を示唆する。
• 一般化SILと報酬ベースSILの性能差は、長時間にわたる信用配分が重要な複雑な環境（例：Humanoid）で最も顕著に現れる。
• 一般化SILは多様なタスクにおいてロバストであり、特に報酬がすくない環境において、補正なしnステップQ学習および報酬ベースSILを一貫して上回る。
• 実験結果から、環境に応じてnを適応させること（例：Humanoidではn=5）が、固定の大規模nを使用するよりも優れた性能をもたらすことが示され、nが実用的影響を持つ調整可能なハイパーパrameterである可能性を示唆する。