[论文解读] Cross-Domain Perceptual Reward Functions

Ashley D. Edwards, Srijan Sood+1 more|arXiv (Cornell University)|May 25, 2017

Neural and Behavioral Psychology Studies参考文献 40被引用 7

一句话总结

本文提出了一种基于深度学习的跨域感知奖励（Cross-Domain Perceptual Reward, CDPR）方法，使强化学习智能体能够通过将当前状态与来自不同环境的目标图像进行匹配来学习任务。通过训练神经网络以衡量智能体状态与跨域目标图像之间的视觉相似性，CDPR 能够提供精确且可泛化的奖励信号，而无需人工设计奖励函数，在迷宫导航与音乐生成任务中均实现了高成功率。

ABSTRACT

In reinforcement learning, we often define goals by specifying rewards within desirable states. One problem with this approach is that we typically need to redefine the rewards each time the goal changes, which often requires some understanding of the solution in the agents environment. When humans are learning to complete tasks, we regularly utilize alternative sources that guide our understanding of the problem. Such task representations allow one to specify goals on their own terms, thus providing specifications that can be appropriately interpreted across various environments. This motivates our own work, in which we represent goals in environments that are different from the agents. We introduce Cross-Domain Perceptual Reward (CDPR) functions, learned rewards that represent the visual similarity between an agents state and a cross-domain goal image. We report results for learning the CDPRs with a deep neural network and using them to solve two tasks with deep reinforcement learning.

研究动机与目标

• 解决在强化学习中为每个新任务手动设计环境特异性奖励函数的挑战。
• 实现在替代环境（如图像、图表或语音描述）中指定目标，而非依赖智能体本征环境中的目标。
• 开发一种通用且可迁移的奖励函数，可应用于多种目标配置而无需重新训练。
• 评估所学习的跨域目标与智能体状态之间的感知相似性是否能有效引导深度强化学习。
• 证明 CDPR 可在未见目标上泛化，并支持在复杂任务中成功学习策略。

提出的方法

• 训练深度神经网络，学习一个感知嵌入空间，使状态图像与跨域目标图像之间的距离反映其视觉相似性。
• 采用孪生网络架构进行对比学习，以优化 CDPR 函数，最小化匹配状态-目标对之间的距离，同时最大化不匹配对之间的距离。
• 将 CDPR 定义为一个学习到的奖励函数：r(s, g) = -||f(s) - f(g)||₂，其中 f 是状态 s 和目标 g 的特征编码器。
• 将 CDPR 作为深度强化学习算法（如 SAC 或 PPO）的奖励信号，用于在网格迷宫和音乐生成等环境中训练智能体。
• 使用真实世界的目标图像（如手势形状、语音指令、乐谱）以及合成的目标表示作为跨域输入。
• 通过多种指标评估 CDPR：目标检索准确率（GRA）、奖励一致性，以及在未见目标实例上的下游强化学习性能。

实验结果

研究问题

• RQ1 是否能够有效学习智能体状态与跨域目标图像之间的感知相似性，作为强化学习中的一般化奖励函数？
• RQ2 CDPR 在无需重新训练的情况下，对新出现的、未见过的目标配置的泛化能力如何？
• RQ3 与手工设计的奖励相比，CDPR 在任务成功率和策略质量方面表现如何？
• RQ4 当域之间的视觉或语义差异较大时，CDPR 的局限性是什么？
• RQ5 CDPR 是否能够在复杂、序列性任务（如音乐生成和稀疏奖励下的导航）中支持学习？

主要发现

• CDPR 方法在手势形状和语音指令目标表示上均实现了 1.0 的高目标检索准确率（GRA），表明智能体状态与跨域目标之间具有强大的感知对齐能力。
• 在迷宫导航任务中，使用语音指令的 CDPR 使智能体成功到达蓝色和绿色房间，而手势形状 CDPR 因中间奖励的干扰而在一个目标上失败。
• 在音乐生成任务中，吉他和乐谱目标表示在第一首歌上均达到最高 75% 的准确率，但在更复杂的第二首歌上性能下降，表明对任务复杂度敏感。
• 使用手势形状目标的 CDPR 虽然 GRA 很高，但强化学习性能欠佳，表明仅靠 GRA 不足以评估奖励函数，因为中间奖励可能误导策略学习。
• 特征编码网络仅在状态与目标匹配时产生非负奖励，避免了正反馈循环，确保了学习的稳定性。
• 结果表明，CDPR 可在无需修改的情况下应用于多个目标实例，证实了其在跨域目标指定中的泛化能力。