[論文レビュー] A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning

Martha White, Adam White|arXiv (Cornell University)|Jul 2, 2016

Reinforcement Learning in Robotics参考文献 17被引用数 8

ひとこと要約

本論文は、関数近似およびオフポリシー設定において、強化学習におけるTD($\lambda$)トレースパラメータ $\lambda$ のオンライン適応のための、新規で段階的かつ関数近似と互換性のあるアルゴリズムを提案する。バイアス・バリアンスのトレードオフを貪欲に最小化することで、固定値またはヒューリスティックな $\lambda$ スケジュールと比較して、状態ごとに $\lambda$ を動的に調整し、サンプル効率とロバスト性の両方が向上する。

ABSTRACT

One of the main obstacles to broad application of reinforcement learning methods is the parameter sensitivity of our core learning algorithms. In many large-scale applications, online computation and function approximation represent key strategies in scaling up reinforcement learning algorithms. In this setting, we have effective and reasonably well understood algorithms for adapting the learning-rate parameter, online during learning. Such meta-learning approaches can improve robustness of learning and enable specialization to current task, improving learning speed. For temporal-difference learning algorithms which we study here, there is yet another parameter, $λ$, that similarly impacts learning speed and stability in practice. Unfortunately, unlike the learning-rate parameter, $λ$ parametrizes the objective function that temporal-difference methods optimize. Different choices of $λ$ produce different fixed-point solutions, and thus adapting $λ$ online and characterizing the optimization is substantially more complex than adapting the learning-rate parameter. There are no meta-learning method for $λ$ that can achieve (1) incremental updating, (2) compatibility with function approximation, and (3) maintain stability of learning under both on and off-policy sampling. In this paper we contribute a novel objective function for optimizing $λ$ as a function of state rather than time. We derive a new incremental, linear complexity $λ$-adaption algorithm that does not require offline batch updating or access to a model of the world, and present a suite of experiments illustrating the practicality of our new algorithm in three different settings. Taken together, our contributions represent a concrete step towards black-box application of temporal-difference learning methods in real world problems.

研究の動機と目的

• 関数近似およびオフポリシー設定において、スケーラブルでオンラインかつ安定したメタラーニング手法によるTD($\\lambda$)トレースパラメータ $\lambda$ の適応の欠如に対処すること。
• 時間ではなく状態ごとに $\lambda$ を適応させることで、動的環境におけるより良いバイアス・バリアンスのトレードオフを実現する手法を開発すること。
• 段階的学習、関数近似、オフポリシー採択との互換性を保証すること —— これらは実世界のRLデプロイメントにおける主要な要件である。
• バッチ処理や事前モデル知識を必要とせず、実用的でモデルフリーかつ計算効率の高い $\lambda$ 適応の解決策を提供すること。

提案手法

• バイアスとバリアンスのバランスを最適化するため、$\lambda$-リターンと真の価値関数の期待二乗誤差を貪欲に最小化する新しい目的関数を提案する。
• 時系列差分学習の原則に従い、状態依存の $\lambda(s)$ を更新する段階的かつ線形時間計算量のアルゴリズムを導出する。
• 目的関数における分散項のオンライン計算を可能にするために、GTD($\lambda=1$) を用いて $\lambda$-リターンの2次モーメントを推定する。
• 将来の $\lambda$ 値は1に設定される（バイアスなし）と仮定する貪欲戦略を採用し、将来の分散を低減するために $\lambda_{t+1}$ を小さくする。
• 将来の $\lambda$ 値を有限の時間窓内で制御可能なように、貪欲仮定のホライズンに依存する緩和を導入し、より注意深くなるようにする。
• 表計算および関数近似の両設定に適用し、状態のアリヤスが発生する状況を含む、オンポリシーおよびオフポリシー環境でも動作を検証する。

実験結果

リサーチクエスチョン

• RQ1 貪欲で段階的なアルゴリズムは、オフポリシーおよび関数近似設定において、状態ごとにTD($\lambda$)パラメータ $\lambda$ を適応させることで、学習の安定性と速度を向上させることができるか？
• RQ2 固定 $\lambda$ 値や時間減衰スケジュールと比較して、状態ごとの $\lambda$ 適応は、サンプル効率およびロバスト性においてどのように異なるか？
• RQ3 アルゴリズムは、特に値関数推定が信頼できる状態で $\lambda(s) \approx 0$ に収束する well-defined な固定点に到達するか？
• RQ4 値関数推定が信頼性が低い状態（アリヤス状態）では、アルゴリズムは $\lambda$ を高める傾向を示すか？

主な発見

• $\lambda$-グリーディアルゴリズムは、オンポリシーおよびオフポリシー設定を含む複数の環境で、固定 $\lambda$ 値や時間減衰スケジュールを常に上回る性能を示す。
• 表計算設定では、$\lambda(s) \approx 0$ に収束する。これは、バイアスを排除できる場合にそれを学習し、エリギビリティトレースを無効化して分散を低減することを示している。
• アリヤス特徴量設定では、$\lambda$-グリーディがアリヤス状態で $\lambda(s)$ を増加させる。これは、推定が信頼性が低い領域でバイアスを低減できる能力を示している。
• 最適な $\lambda$-グリーディバリアント（2次モーメントの理想的な推定値を使用）は、最も高い性能を達成する。これは、分散項の推定精度向上の余地があることを示唆している。
• GTD($\lambda=1$) を用いた2次モーメントの推定は、強力な性能を発揮するが、メタパrameterに敏感であるため、さらなるチューニングが必要である。
• アルゴリズムは、チェーン長の変化やポリシーのシフト（オンポリシーからオフポリシー）に対してもロバストである。一方、固定 $\lambda$ 値や減衰スケジュールは、このような条件下で性能が劣化する。