[论文解读] Generalized hindsight for reinforcement learning

Alexander C. Li, Lerrel Pinto+1 more|arXiv (Cornell University)|Feb 1, 2020

Advanced Multi-Objective Optimization Algorithms被引用 2

一句话总结

本文提出广义事后重标注（Generalized Hindsight），一种逆强化学习技术，通过将某一任务中的行为重新标注为更合适、更优的另一任务，以提升多任务强化学习中的样本效率。通过将低奖励轨迹重新分配给其表现更优的任务，该方法使离策略强化学习智能体能够重用此前被浪费的数据，显著提升导航与操作任务中的学习效率。

ABSTRACT

One of the key reasons for the high sample complexity in reinforcement learning (RL) is the inability to transfer knowledge from one task to another. In standard multi-task RL settings, low-reward data collected while trying to solve one task provides little to no signal for solving that particular task and is hence effectively wasted. However, we argue that this data, which is uninformative for one task, is likely a rich source of information for other tasks. To leverage this insight and efficiently reuse data, we present Generalized Hindsight: an approximate inverse reinforcement learning technique for relabeling behaviors with the right tasks. Intuitively, given a behavior generated under one task, Generalized Hindsight returns a different task that the behavior is better suited for. Then, the behavior is relabeled with this new task before being used by an off-policy RL optimizer. Compared to standard relabeling techniques, Generalized Hindsight provides a substantially more efficient reuse of samples, which we empirically demonstrate on a suite of multi-task navigation and manipulation tasks. Videos and code can be accessed here: this https URL.

研究动机与目标

• 解决因无法在不同任务间迁移知识而导致的强化学习高样本复杂度问题。
• 减少多任务强化学习中的数据浪费，避免因某一任务中奖励较低而被丢弃的轨迹。
• 通过识别同一行为在其他任务中更优的替代任务，实现轨迹的高效重用。
• 通过在多任务环境中更优地利用数据，提升离策略强化学习算法的性能。

提出的方法

• 该方法应用逆强化学习，推断出一个奖励函数，使给定行为在原本并非其设计目标的另一任务中成为最优行为。
• 给定在特定任务下生成的行为，广义事后重标注会识别出该行为更可能成为最优行为的新型任务。
• 随后将该行为重新标注为该新任务，并将其纳入经验回放缓冲区以支持离策略训练。
• 该方法利用了这样的理念：在某一任务中表现不佳的轨迹，可能在其他任务中表现极佳，从而实现更广泛的数据重用。
• 采用可微分或基于优化的机制，为每个行为搜索最合适的替代任务。
• 重标注后的数据被用于标准的离策略强化学习算法（如SAC或DQN），以提升样本效率。

实验结果

研究问题

• RQ1 能否有效将对某一任务表现不佳的行为重新用于其他任务，以提升学习效率？
• RQ2 与标准事后重标注相比，使用替代任务重标注轨迹在多任务强化学习中的表现如何？
• RQ3 广义事后重标注在导航与操作任务中能将样本复杂度降低到何种程度？
• RQ4 该方法是否无需任务特定设计即可在多样化任务中提升性能？

主要发现

• 广义事后重标注通过将低奖励轨迹重新标注为更合适任务，实现了对以往被浪费轨迹的大量重用。
• 与标准重标注技术相比，该方法在多任务导航与操作环境中显著提升了样本效率。
• 实验结果表明，使用来自替代任务的重标注数据可实现更快收敛与更优的最终性能。
• 该方法通过在任务间更广泛地利用有效行为分布，优于基线事后重标注方法。