[論文レビュー] Reducing sampling error in batch temporal difference learning

Brahma S. Pavse|arXiv (Cornell University)|May 1, 2020

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文では、PSEC-TD(0)を提案する。これは、経験的行動頻度と真の評価方策分布との乖離を補正するための重要度サンプリングを用いるバッチ時系列差分学習アルゴリズムであり、TD(0)のサンプリング誤差を是正する。PSEC-TD(0)は、より低い誤差の固定点に収束し、複数のタスクにおいて値関数推定で顕著に低い平均二乗誤差を達成することを示している。

ABSTRACT

Temporal difference (TD) learning is one of the main foundations of modern reinforcement learning. This thesis studies the use of TD(0), a canonical TD algorithm, to estimate the value function of a given evaluation policy from a batch of data. In this batch setting, we show that TD(0) may converge to an inaccurate value function because the update following an action is weighted according to the number of times that action occurred in the batch -- not the true probability of the action under the evaluation policy. To address this limitation, we introduce policy sampling error corrected-TD(0) (PSEC-TD(0)). PSEC-TD(0) first estimates the empirical distribution of actions in each state in the batch and then uses importance sampling to correct for the mismatch between the empirical weighting and the correct weighting for updates following each action. We refine the concept of a certainty-equivalence estimate and argue that PSEC-TD(0) converges to a more desirable fixed-point than TD(0) for a fixed batch of data. Finally, we conduct a thorough empirical evaluation of PSEC-TD(0) on three batch value function learning tasks in a variety of settings and show that PSEC-TD(0) produces value function estimates with lower mean squared error than the standard TD(0) algorithm

研究の動機と目的

• バッチ設定における標準TD(0)が、真の方策確率ではなく経験的行動頻度に基づく偏った重み付けにより、不正確な値関数推定を生じることの問題に対処する。
• 方策サンプリング誤差を是正することで、バッチ学習におけるTD(0)の固定点収束を改善する。
• 真の評価方策と整合性のとれた状態に近づくように、確実性同等推定の概念を精緻化する手法を開発する。
• 実験的に、提案手法が標準TD(0)と比較して、値関数推定における平均二乗誤差を低減することを示す。

提案手法

• バッチデータから各状態における経験的行動分布を推定し、各行動がどの程度観測されたかを把握する。
• 真の評価方策確率と経験的行動頻度の比に基づいて、重要度サンプリングを用いてTD更新を再重み付けする。
• 是正された重要度重みを用いて時系列差分更新ルールを調整し、更新が真の方策分布を反映するようにする。
• 評価方策における真の値関数に近い固定点に収束するように修正されたTD(0)更新を定式化する。
• バッチデータにおけるサンプリングバイアスを考慮した、洗練された確実性同等推定を導入する。
• 推定誤差を低減しながらも、収束性と安定性の特性を維持するようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 バッチTD(0)におけるサンプリング誤差の是正が、値関数のより正確な固定点推定に繋がるか？
• RQ2 重要度サンプリングは、バッチTD学習における経験的行動頻度に起因するバイアスを効果的に緩和できるか？
• RQ3 多様なバッチ値関数学習タスクにおいて、PSEC-TD(0)は標準TD(0)と比較して平均二乗誤差が低いか？
• RQ4 与えられたバッチデータに対して、PSEC-TD(0)は標準TD(0)よりも望ましい固定点により速く収束するか？
• RQ5 提案手法の性能向上は、異なる環境やデータ分布において一貫しているか？

主な発見

• PSEC-TD(0)は、サンプリングバイアスの是正により、標準TD(0)と比較して真の値関数に近い固定点に収束する。
• 3つのバッチ学習タスクにおいて、PSEC-TD(0)は標準TD(0)と比較して顕著に低い平均二乗誤差を達成する。
• 重要度サンプリングは、バッチ設定において経験的行動頻度と真の方策分布の乖離を効果的に低減する。
• PSEC-TD(0)における洗練された確実性同等推定は、標準的手法よりもより正確な値関数近似を実現する。
• 実験的評価により、PSEC-TD(0)は多様な環境やデータ構成において、TD(0)に対して一貫した性能向上を示す。
• 本手法は、バッチ学習環境において収束安定性を損なわず、推定精度を向上させる。