[论文解读] Adversarial Task Transfer from Preference.

Xiaojian Ma, Mingxuan Jing+2 more|arXiv (Cornell University)|May 12, 2018

Adversarial Robustness in Machine Learning被引用 1

一句话总结

本文提出了一种新型的强化学习任务迁移框架，利用专家偏好而非专家演示或显式成本函数，实现从源任务到目标任务的策略迁移。通过对抗最大熵逆强化RL迭代优化目标成本函数和轨迹分布，该方法在极少人工监督下实现了有效的策略迁移，并在基准环境的大量仿真中得到验证。

ABSTRACT

The goal of task transfer in reinforcement learning is migrating the action policy of an agent to the target task from the source task. Given their successes on robotic action planning, current methods mostly rely on two requirements: exactly-relevant expert demonstrations or the explicitly-coded cost function on target task, both of which, however, are inconvenient to obtain in practice. In this paper, we relax these two strong conditions by developing a novel task transfer framework where the expert preference is applied as a guidance. In particular, we alternate the following two steps: Firstly, letting experts apply pre-defined preference rules to select related expert demonstrates for the target task. Secondly, based on the selection result, we learn the target cost function and trajectory distribution simultaneously via enhanced Adversarial MaxEnt IRL and generate more trajectories by the learned target distribution for the next preference selection. The theoretical analysis on the distribution learning and convergence of the proposed algorithm are provided. Extensive simulations on several benchmarks have been conducted for further verifying the effectiveness of the proposed method.

研究动机与目标

• 解决在任务迁移中获取目标任务精确专家演示或显式编码成本函数不切实际的问题。
• 通过仅利用专家偏好作为指导，减少对强监督的依赖以实现策略迁移。
• 开发一种联合学习目标成本函数和轨迹分布的方法，通过偏好引导的迭代优化实现。
• 对所提算法的收敛性和分布学习特性进行理论分析。
• 在多个基准环境中实证验证该框架的有效性。

提出的方法

• 专家应用预定义的偏好规则，从源任务中选择与目标任务相关的专家演示。
• 利用增强的对抗最大熵IRL，基于所选演示训练目标成本函数和轨迹分布。
• 所学习的轨迹分布生成新轨迹，用于下一轮偏好评估。
• 该过程在基于偏好的演示选择与分布学习之间交替进行，形成迭代循环。
• 该框架将逆强化学习与偏好建模相结合，通过相对比较推断奖励函数。
• 理论分析确保了在迭代过程中分布学习的收敛性和稳定性。

实验结果

研究问题

• RQ1 仅依靠专家偏好是否能有效引导策略迁移，而无需显式成本函数或完美演示？
• RQ2 如何将基于偏好的选择与逆强化学习相结合，以改善目标策略的学习？
• RQ3 对轨迹分布和成本函数的迭代优化是否能带来稳定且收敛的学习？
• RQ4 在样本效率和基准任务性能方面，该方法与现有方法相比表现如何？
• RQ5 不同偏好规则的设计对迁移策略质量有何影响？

主要发现

• 所提方法仅依赖专家偏好即可实现有效的策略迁移，无需精确的专家演示或手工编码的奖励函数。
• 在基准环境中的大量仿真结果表明，该方法在性能上持续优于依赖更强监督的基线方法。
• 迭代优化过程实现了分布学习和成本函数估计的稳定收敛。
• 该方法对不同偏好规则设计表现出鲁棒性，表明其在真实场景中的实际可行性。
• 理论分析在假设条件下证实了所提算法的收敛性。
• 该框架实现了高质量的策略迁移，显著减少了人工标注工作量。