[论文解读] Hyperparameter Selection for Imitation Learning

Léonard Hussenot, Marcin Andrychowicz+12 more|arXiv (Cornell University)|May 25, 2021

Human Pose and Action Recognition被引用 7

一句话总结

本文解决了模仿学习（IL）中的一个关键空白：在真实IL场景中，通常无法获取真实环境奖励，但超参数（HPs）却依赖于该奖励进行调优。作者提出并实证评估了诸如动作均方误差（MSE）和状态分布差异等代理度量，以在无真实奖励的情况下指导超参数选择，证明这些代理度量能够有效实现超参数调优，并在不同环境中实现良好迁移，尤其适用于行为克隆（BC）等简单算法。

ABSTRACT

We address the issue of tuning hyperparameters (HPs) for imitation learning algorithms in the context of continuous-control, when the underlying reward function of the demonstrating expert cannot be observed at any time. The vast literature in imitation learning mostly considers this reward function to be available for HP selection, but this is not a realistic setting. Indeed, would this reward function be available, it could then directly be used for policy training and imitation would not be necessary. To tackle this mostly ignored problem, we propose a number of possible proxies to the external reward. We evaluate them in an extensive empirical study (more than 10'000 agents across 9 environments) and make practical recommendations for selecting HPs. Our results show that while imitation learning algorithms are sensitive to HP choices, it is often possible to select good enough HPs through a proxy to the reward function.

研究动机与目标

• 解决在真实环境奖励不可用或不可访问时，模仿学习中超参数选择的根本性问题。
• 评估代理度量（如动作MSE和状态分布差异）作为真实奖励替代品在超参数调优中的有效性。
• 研究超参数在不同环境和任务之间的可迁移性，特别是在奖励函数不可用的情况下。
• 为在真实场景中应用提供实用建议：专家演示可用，但奖励信号不可用。
• 建立一种新的模仿学习评估协议，与真实世界部署约束保持一致，避免在超参数选择中依赖真实奖励。

提出的方法

• 提出并评估多种用于超参数选择的代理度量，包括在专家状态上计算的智能体与专家动作之间的动作均方误差（MSE），以及智能体与专家轨迹之间的状态分布差异。
• 使用离线验证集计算代理度量，实现在无需环境交互情况下的超参数调优，尤其适用于行为克隆（BC）。
• 在9个连续控制环境（来自OpenAI Gym和Adroit）中进行大规模超参数搜索，训练超过10,000个智能体，以评估超参数的敏感性与可迁移性。
• 研究在奖励可访问的环境中训练得到的超参数，向无奖励环境迁移的性能表现，比较不同算法族（BC、AIL、PWIL）的性能。
• 基于代理度量实施早停策略，以提升泛化能力并避免在超参数调优过程中过拟合。
• 将基于代理度量的超参数选择方法与使用真实环境回报的标准实践进行对比，突出在真实奖励不可用时的性能差距。

实验结果

研究问题

• RQ1 动作MSE或状态分布差异等代理度量能否有效替代真实环境奖励，用于模仿学习中的超参数选择？
• RQ2 当真实奖励不可用时，使用代理度量与真实奖励选择超参数，IL算法的性能差异如何，尤其在后者不可用的情况下？
• RQ3 在目标环境中奖励函数不可用时，于一个环境中学到的超参数在另一环境中可迁移的程度如何？
• RQ4 代理度量的选择如何影响不同任务和算法类型下最终策略的泛化能力与鲁棒性？
• RQ5 哪些IL算法表现出更好的超参数可迁移性与敏感性？任务难度、算法复杂度等因素如何影响这一特性？

主要发现

• IL算法对超参数选择极为敏感，当在真实奖励不可用的环境中使用真实奖励进行调优时，性能会显著下降。
• 动作MSE和状态分布差异作为代理度量，在超参数选择中表现有效，能够实现接近真实奖励调优的性能。
• 超参数迁移在相同环境套件内（如从一个Gym环境迁移到另一个Gym环境）比跨套件（如从Gym迁移到Adroit）更有效，尽管跨套件迁移在许多情况下仍能成功。
• 行为克隆（BC）在超参数可迁移性方面优于更复杂的算法（如AIL和PWIL），这可能归因于其更简单的监督学习目标。
• 最困难的两个任务——Humanoid和relocate——表现出最差的超参数迁移性能，表明任务难度会负面影响可迁移性。
• 在超参数调优过程中使用验证集度量（如动作MSE）有助于防止过拟合并提升泛化能力，尤其在高维控制设置中更为显著。