[論文レビュー] Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates

Carlos Riquelme, Hugo Penedones+6 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文では、各状態ごとに学習された信頼区間を用いてバイアスを検出することで、TDとモンテカルロ（MC）更新の間を動的に切り替える適応的時系列差分（TD）学習手法を提案する。推定された不確実性に基づいて2つの手法を切り替えることで、誤差伝搬を低減し、複数のポリシー評価タスクにおいて、後から見れば最良の選択肢に匹敵する性能を達成する。

ABSTRACT

We consider the core reinforcement-learning problem of on-policy value function approximation from a batch of trajectory data, and focus on various issues of Temporal Difference (TD) learning and Monte Carlo (MC) policy evaluation. The two methods are known to achieve complementary bias-variance trade-off properties, with TD tending to achieve lower variance but potentially higher bias. In this paper, we argue that the larger bias of TD can be a result of the amplification of local approximation errors. We address this by proposing an algorithm that adaptively switches between TD and MC in each state, thus mitigating the propagation of errors. Our method is based on learned confidence intervals that detect biases of TD estimates. We demonstrate in a variety of policy evaluation tasks that this simple adaptive algorithm performs competitively with the best approach in hindsight, suggesting that learned confidence intervals are a powerful technique for adapting policy evaluation to use TD or MC returns in a data-driven way.

研究の動機と目的

• バッチ軌道データを用いたオンポリシー価値関数近似におけるバイアス-分散トレードオフを解消すること。
• 局所的近似誤差によって引き起こされるTD学習における誤差伝搬を低減すること。
• 不確実性に基づいて、各状態ごとにTDとMC更新の間をデータ駆動で選択する手法を開発すること。
• TDとMC手法の長所を適応的に活用することで、ポリシー評価の性能を向上させること。
• 学習された信頼区間が、TDとMCの戦略的選択を効果的に導けるかどうかを示すこと。

提案手法

• 本手法は、各状態におけるTD価値関数推定のバイアスを推定するために、学習された信頼区間を用いる。
• TD推定値が学習された信頼区間の外側にあるかどうかに基づいて、TDとMC更新を適応的に切り替える。
• 信頼区間は、TD推定の不確実性を予測するためのニューラルネットワークを用いて学習される。
• アルゴリズムはバッチ設定で動作し、ポリシー評価にオフラインの軌道データを用いる。
• スイッチの意思決定は各状態ごとに行われ、誤差特性に応じた局所的適応が可能になる。
• 各状態で期待誤差が小さい方の手法を選択することで、TDの低分散性とMCの低バイアス性を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 学習された信頼区間は、TD価値推定におけるバイアスを効果的に検出できるか？
• RQ2 TDとMCの間を適応的に切り替えることで、固定手法に比べてポリシー評価の性能が向上するか？
• RQ3 アルゴリズムは、後から見れば最良の選択（TDまたはMC）に匹敵する性能を達成できるか？
• RQ4 多様なポリシー評価タスク、特に近似誤差のレベルが異なる環境でも、本手法は有効か？
• RQ5 不確実性に基づくスイッチングが、価値関数学習における誤差伝搬にどのような影響を与えるか？

主な発見

• 適応的アルゴリズムは、複数のタスクにおいて、後から見れば最良の選択に匹敵する性能を達成する。
• 学習された信頼区間を用いることで、バイアスのあるTD推定の検出が効果的に行われ、意思決定に裏付けられる。
• TD推定が信頼できない場合にMCに切り替えることで、局所的近似誤差の伝搬が低減される。
• 本手法は、多様なポリシー評価環境において、固定されたTDおよびMCベースラインを上回る頑健な性能を示す。
• 結果から、不確実性を考慮した適応は、バイアスと分散のバランスを取ることで、価値関数近似を著しく改善することが示唆される。
• 信頼区間に基づくデータ駆動のスイッチングは、ポリシー評価において強力な手法であることが示された。