[論文レビュー] Importance Weighted Transfer of Samples in Reinforcement Learning

Andrea Tirinzoni, Andrea Sessa+2 more|arXiv (Cornell University)|May 28, 2018

Reinforcement Learning in Robotics参考文献 19被引用数 19

ひとこと要約

本稿では、ターゲットMDPにおける各サンプルの尤度に基づき、重要度重みを割り当てることで複数のソースタスクから得た経験サンプルをターゲットタスクに転送する、バッチ強化学習手法である重要度重み付きフィットドQ反復（IWFQI）を提案する。報酬および遷移ダイナミクスをガウス過程でモデル化することで、IWFQIは不要または有害なサンプルを適応的に軽減し、最先端の手法と比較して優れた性能と負の転送に対するロバスト性を達成する。

ABSTRACT

We consider the transfer of experience samples (i.e., tuples < s, a, s', r >) in reinforcement learning (RL), collected from a set of source tasks to improve the learning process in a given target task. Most of the related approaches focus on selecting the most relevant source samples for solving the target task, but then all the transferred samples are used without considering anymore the discrepancies between the task models. In this paper, we propose a model-based technique that automatically estimates the relevance (importance weight) of each source sample for solving the target task. In the proposed approach, all the samples are transferred and used by a batch RL algorithm to solve the target task, but their contribution to the learning process is proportional to their importance weight. By extending the results for importance weighting provided in supervised learning literature, we develop a finite-sample analysis of the proposed batch RL algorithm. Furthermore, we empirically compare the proposed algorithm to state-of-the-art approaches, showing that it achieves better learning performance and is very robust to negative transfer, even when some source tasks are significantly different from the target task.

研究の動機と目的

• バッチ強化学習における複数のソースタスクから得た経験サンプルをターゲットタスクに転送する課題に取り組む。
• ソースタスクとターゲットMDP間の分布的乖離に基づき、各ソースサンプルの関連性を自動で推定することで、負の転送を低減する。
• 重要度重み付けを用いる理論的裏付けのあるモデルベース手法を開発し、学習効率とロバスト性を向上させる。
• 古典的RLベンチマークおよび実世界の水貯留所制御問題の両方で、手法の実証的妥当性を検証する。

提案手法

• 本手法は、収集されたサンプルからソースタスクおよびターゲットタスクの報酬モデルと遷移モデルを非パラメトリックにガウス過程を用いて推定する。
• 各ソースサンプルがターゲットMDP下でどの程度尤もらしいかに基づき、報酬モデル用と遷移モデル用の2つの重要度重みのセットを計算する。
• 重要度重みは、分布シフトに対応するように変更されたフィットドQ反復アルゴリズムに組み込まれ、重み付きサンプルを用いてQ関数を更新する。
• 本手法により、すべてのサンプルを完全に転送しつつ、推定された関連性に応じてその寄与度を動的に調整できる。
• モデル不確実性下でも安定性を向上させるために、堅牢な統計的推定手順を用いて重要度重みを計算する。
• 共有ダイナミクスを必要とせずに、ダイナミクスおよび報酬関数が異なるソースタスクとターゲットタスクの状況に対しても本手法を拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 複数のソースタスクからの個々の経験サンプルの関連性を、自動的にターゲットタスクへの転送に適した形で推定するにはどうすればよいか？
• RQ2 報酬および遷移ダイナミクスのモデルベース推定に基づく重要度重み付けは、バッチRLにおけるバイアス低減と学習性能向上に寄与するか？
• RQ3 本手法は、選択的転送および完全転送のベースラインと比較して、負の転送に対するロバスト性において優れているか？
• RQ4 一般MDP仮定の下で、重み付きフィットドQ反復アルゴリズムの漸近的正しさに対する理論的根拠は何か？

主な発見

• 水貯留所制御タスクにおいて、IWFQIはFitted Q-IterationおよびRBF転送（RBT）を上回り、学習の最初の年からほぼ最適な性能を達成した。
• グリッドワールド領域において、IWFQIは、一部のソースタスクがターゲットと著しく異なる場合でさえも、最先端のベースラインと比較してより速い収束と低い平均コストを達成した。
• 本手法は負の転送に対してロバストであることが示された：ソースタスクが類似していない場合、IWFQIは自動的に関連のないサンプルの重みを軽減し、バイアスと分散の両方を最小限に抑えた。
• 実験的結果から、IWFQIはターゲットデータが限られている場合でも、モデル類似度に基づく効果的なサンプル重み付けのおかげで高い性能を維持することがわかった。
• 理論的分析により、一般MDP仮定の下でアルゴリズムの漸近的正しさが確認され、重要度重み付け機構に対して有限サンプルバウンドが導出された。