[論文レビュー] Multi-step Off-policy Learning Without Importance Sampling Ratios

Ashique Rupam Mahmood, Huizhen Yu+1 more|arXiv (Cornell University)|Feb 9, 2017

Machine Learning and Algorithms参考文献 19被引用数 22

ひとこと要約

本論文では、行動に依存するブートストラappingを用いることで、多段階学習における重要度サンプリング比の使用を排除する、関数近似を伴うモデルフリーなオフポリシー時系列差分学習アルゴリズムであるABQ(ζ)を提案する。各行動ごとにブートストラップを調整し、二時刻スケールの勾配更新を採用することで、安定的で低分散の価値関数推定を実現し、困難なオフポリシー課題において最先端の手法を上回る性能を達成する。

ABSTRACT

To estimate the value functions of policies from exploratory data, most model-free off-policy algorithms rely on importance sampling, where the use of importance sampling ratios often leads to estimates with severe variance. It is thus desirable to learn off-policy without using the ratios. However, such an algorithm does not exist for multi-step learning with function approximation. In this paper, we introduce the first such algorithm based on temporal-difference (TD) learning updates. We show that an explicit use of importance sampling ratios can be eliminated by varying the amount of bootstrapping in TD updates in an action-dependent manner. Our new algorithm achieves stability using a two-timescale gradient-based TD update. A prior algorithm based on lookup table representation called Tree Backup can also be retrieved using action-dependent bootstrapping, becoming a special case of our algorithm. In two challenging off-policy tasks, we demonstrate that our algorithm is stable, effectively avoids the large variance issue, and can perform substantially better than its state-of-the-art counterpart.

研究の動機と目的

• 重要度サンプリング比に起因する高分散問題を、多段階オフポリシー時系列差分学習において解消すること。
• 明示的な重要度サンプリング比の使用を避ける関数近似を伴うモデルフリーなアルゴリズムの開発。
• ツリー・バックアップやレトラクスといった既存のアルゴリズムを、一貫した行動に依存するブートストラップフレームワークで統合・一般化すること。
• 重要度比補正に依存せずに、オフポリシー設定において安定的で低分散の価値関数推定を達成すること。
• 重要度サンプリングの不安定性と分散を回避しつつ、オフポリシー関数近似における有効な多段階学習を可能にすること。

提案手法

• 行動に依存するブートストラップを導入し、状態-行動ペアごとにブートストラップパラメータを変化させることで、重要度サンプリング比の必要性を排除する。
• 安定性を確保するため、二時刻スケールの勾配に基づくTD更新を提案し、価値関数の更新とエリギビリティトレースの更新を分離する。
• エリギビリティトレースを用いてABQ(ζ)アルゴリズムを導出する。ここで、行動に依存する要因νζ,t = ζ·min(1, ρt)を用い、ρtは重要度サンプリング比である。
• エリギビリティトレースの更新を再定式化し、行動に依存するブートストラップ要因を組み込むことで、分散低減を実現しつつ多段階学習を維持する。
• ABQ(ζ)が、表形式特徴量と勾配補正なしの条件下でツリー・バックアップに簡約されることを示し、特定のパrameter設定下でレトラクスが再現されることを示す。
• 確率的近似理論を用いて、減衰または定常ステップサイズの下での収束を支持し、理論的安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 関数近似を伴う多段階オフポリシー学習において、重要度サンプリング比を明示的に使用せずに実現可能か？
• RQ2 ブートストラップをどのように行動に依存させれば、分散を低減しつつ多段階学習の能力を維持できるか？
• RQ3 ツリー・バックアップ や レトラクス といった既存手法を一般化する、安定的で低分散のオフポリシーアルゴリズムを導出可能か？
• RQ4 二時刻スケールの勾配更新は、重要度サンプリングに依存せずに学習を安定化させる役割を果たすか？
• RQ5 行動に依存するブートストラップは、高分散環境下で最先端のオフポリシーアルゴリズムを上回る性能を発揮可能か？

主な発見

• ABQ(ζ)は、関数近似を伴う多段階オフポリシー学習において、重要度サンプリング比の使用を明確に排除し、安定的で低分散の推定を達成した。
• 2つの困難なオフポリシー課題において、最先端の手法を顕著に上回り、優れた安定性と性能を示した。
• 表形式表現を用い、勾配補正を除去した場合、ABQ(ζ)はツリー・バックアップの特別なケースとして一般化される。
• 特定のパrameter設定下で、AB-Traceアルゴリズムはレトラクスを再現し、関数近似への適用範囲を拡張した。
• 行動に依存するブートストラップ機構は、重要度サンプリング比に起因する分散を効果的に低減しつつ、多段階学習の利点を保持した。
• 二時刻スケールの勾配更新により収束性と安定性が保証され、重要度サンプリング補正に依存しない信頼性の高い学習が可能になった。