[論文レビュー] META-Learning State-based Eligibility Traces for More Sample-Efficient Policy Evaluation

Mingde Zhao, Sitao Luan+3 more|arXiv (Cornell University)|Apr 25, 2019

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、関数近似を用いた強化学習において、サンプル効率を向上させるために時系列学習における状態または特徴に基づく有効性トレースパラメータ（λ）を適応的に調整するメタラーニング手法METAを提案する。補助学習者を用いてオンラインでターゲット統計を推定し、最小限の計算コストでλ値を段階的に更新することで、METAはターゲット誤差を低減し、オンポリシーおよびオフポリシー設定の両方で学習速度と頑健性を向上させる。

ABSTRACT

Temporal-Difference (TD) learning is a standard and very successful reinforcement learning approach, at the core of both algorithms that learn the value of a given policy, as well as algorithms which learn how to improve policies. TD-learning with eligibility traces provides a way to boost sample efficiency by temporal credit assignment, i.e. deciding which portion of a reward should be assigned to predecessor states that occurred at different previous times, controlled by a parameter $\\lambda$. However, tuning this parameter can be time-consuming, and not tuning it can lead to inefficient learning. For better sample efficiency of TD-learning, we propose a meta-learning method for adjusting the eligibility trace parameter, in a state-dependent manner. The adaptation is achieved with the help of auxiliary learners that learn distributional information about the update targets online, incurring roughly the same computational complexity per step as the usual value learner. Our approach can be used both in on-policy and off-policy learning. We prove that, under some assumptions, the proposed method improves the overall quality of the update targets, by minimizing the overall target error. This method can be viewed as a plugin to assist prediction with function approximation by meta-learning feature (observation)-based $\\lambda$ online, or even in the control case to assist policy improvement. Our empirical evaluation demonstrates significant performance improvements, as well as improved robustness of the proposed algorithm to learning rate variation.

研究の動機と目的

• TD(λ)学習におけるハイパーパrameter感受性の課題に対処すること、特に最適なサンプル効率を得るためのλの調整の難しさに焦点を当てる。
• 計算複雑性を増加させることなく、状態ごとにλを動的にかつ効率的に適応する手法を開発すること。
• 関数近似を用いたオンポリシーおよびオフポリシー強化学習において、有効性トレースの効果的利用を可能にすること。
• 固定値やヒューリスティックなλ値に依存せず、全体のターゲット誤差を最適化するメタラーニングフレームワークを設計すること。

提案手法

• METAは、各状態や特徴表現における最適なλを推定するために、リターンターゲットのオンライン統計を追跡する補助学習者を採用する。
• 推定されたターゲット誤差に基づいてλ値を段階的に更新する手法を用い、標準的なTD(λ)と同等の計算効率を確保する。
• λの適応をメタ最適化問題として定式化し、更新ターゲットの期待二乗誤差を直接最小化する。
• 本手法はオンポリシーおよびオフポリシー学習をサポートし、関数近似および適応的学習率と統合可能である。
• 安定性を維持するため、各更新後にλ値を[0,1]にクリッピングする。

実験結果

リサーチクエスチョン

• RQ1 固定λと比較して、状態依存のλ適応はTD学習におけるサンプル効率を向上させるか？
• RQ2 λ値のオンラインメタラーニングは、価値予測タスクにおけるターゲット誤差を低減し、収束を加速するか？
• RQ3 学習率が変化する場合やオフポリシー設定下でのMETAの性能はいかがなものか？
• RQ4 本手法は、アクトアクリティックフレームワークに効率的に統合可能で、クライアント学習を改善できるか？

主な発見

• METAは、RingWorld、FrozenLake、MountainCarを含む複数の環境において、方策評価におけるサンプル効率を顕著に向上させる。
• 学習率の選択に対する感受性が低減し、オンポリシーおよびオフポリシー設定の両方で頑健性が向上している。
• MountainCarでは、クライアントの学習率が低い場合にベースライン手法を上回り、訓練を安定化させるために高い学習率を必要としなくなる。
• 実験結果から、表形式および関数近似設定の両方で、多様な行動方策とターゲット方策ペアにおいて一貫した精度向上が確認された。
• 主な価値学習者よりも2倍の学習率を有する補助学習者の使用により、特に困難な探索状況下でもλ適応の安定性が向上した。