[论文解读] Importance Weighted Transfer of Samples in Reinforcement Learning

Andrea Tirinzoni, Andrea Sessa+2 more|arXiv (Cornell University)|May 28, 2018

Reinforcement Learning in Robotics参考文献 19被引用 19

一句话总结

本文提出重要性加权拟合Q-迭代（IWFQI），一种批量强化学习方法，通过基于每个样本在目标马尔可夫决策过程（MDP）下的似然度为其分配重要性权重，将来自多个源任务的经验样本迁移至目标任务。利用高斯过程建模奖励和转移动态，IWFQI自适应地降低无关或有害样本的权重，相较于最先进方法，在性能和对负迁移的鲁棒性方面表现更优。

ABSTRACT

We consider the transfer of experience samples (i.e., tuples < s, a, s', r >) in reinforcement learning (RL), collected from a set of source tasks to improve the learning process in a given target task. Most of the related approaches focus on selecting the most relevant source samples for solving the target task, but then all the transferred samples are used without considering anymore the discrepancies between the task models. In this paper, we propose a model-based technique that automatically estimates the relevance (importance weight) of each source sample for solving the target task. In the proposed approach, all the samples are transferred and used by a batch RL algorithm to solve the target task, but their contribution to the learning process is proportional to their importance weight. By extending the results for importance weighting provided in supervised learning literature, we develop a finite-sample analysis of the proposed batch RL algorithm. Furthermore, we empirically compare the proposed algorithm to state-of-the-art approaches, showing that it achieves better learning performance and is very robust to negative transfer, even when some source tasks are significantly different from the target task.

研究动机与目标

• 解决在批量强化学习中将多个源任务的经验样本迁移至目标任务的挑战。
• 通过基于源任务与目标任务MDP之间分布差异的自动估计，减少负迁移。
• 开发一种理论基础坚实的基于模型的方法，利用重要性加权提升学习效率和鲁棒性。
• 在经典强化学习基准和一个真实世界的水库控制问题上，对方法进行实证验证。

提出的方法

• 该方法使用高斯过程非参数化地从收集的样本中估计源任务和目标任务的奖励模型与转移模型。
• 基于每个源样本在目标MDP下的似然度，计算两组重要性权重——一组用于奖励模型，另一组用于转移模型。
• 将重要性权重整合进一种改进的拟合Q-迭代算法中，该算法使用加权样本更新Q函数，以考虑分布偏移的影响。
• 该方法实现了所有样本的完整迁移，同时根据估计的相关性动态调整其贡献。
• 采用稳健的统计估计程序计算重要性权重，提升了在模型不确定性下的稳定性。
• 该方法被扩展以处理源任务与目标任务在动态和奖励函数上存在差异的情况，而无需共享动态结构。

实验结果

研究问题

• RQ1 如何自动估计来自多个源任务的单个经验样本在向目标任务迁移时的相关性？
• RQ2 基于奖励和转移动态的模型估计的重要性加权，能否减少偏差并提升批量强化学习中的学习性能？
• RQ3 与选择性迁移和全量迁移基线相比，所提出方法在负迁移鲁棒性方面表现如何？
• RQ4 在一般MDP假设下，加权拟合Q-迭代算法的渐近正确性有何理论依据？

主要发现

• 在水库控制任务中，IWFQI优于拟合Q-迭代和RBF迁移（RBT）方法，仅用第一年的学习数据即达到近似最优性能。
• 在网格世界领域，即使部分源任务与目标任务显著不同，IWFQI仍实现更快收敛和更低的平均成本，优于最先进基线方法。
• 该方法对负迁移表现出鲁棒性：当源任务与目标任务不相似时，IWFQI自动降低无关样本的权重，从而最小化偏差和方差。
• 实证结果表明，由于基于模型相似性的有效样本加权，IWFQI在目标数据有限时仍能保持高性能。
• 理论分析证实，在一般MDP假设下，该算法具有渐近正确性，且为重要性加权机制推导出了有限样本边界。