[论文解读] Learning functions across many orders of magnitudes.

Hado van Hasselt, Arthur Guez+2 more|arXiv (Cornell University)|Feb 24, 2016

Evolutionary Algorithms and Applications被引用 11

一句话总结

本文提出了一种自适应归一化方法，用于在不同数量级的函数中学习非线性函数，实现了无需领域特定奖励裁剪的尺度不变训练。该方法通过在归一化更新过程中保持未归一化的输出来稳定学习过程，并在深度强化学习中表现优异，尤其在Ms. Pac-Man和Centipede游戏中显著优于先前方法，且无需启发式奖励裁剪。

ABSTRACT

Learning non-linear functions can be hard when the magnitude of the target function is unknown beforehand, as most learning algorithms are not scale invariant. We propose an algorithm to adaptively normalize these targets. This is complementary to recent advances in input normalization. Importantly, the proposed method preserves the unnormalized outputs whenever the normalization is updated to avoid instability caused by non-stationarity. It can be combined with any learning algorithm and any non-linear function approximation, including the important special case of deep learning. We empirically validate the method in supervised learning and reinforcement learning and apply it to learning how to play Atari 2600 games. Previous work on applying deep learning to this domain relied on clipping the rewards to make learning in different games more homogeneous, but this uses the domain-specific knowledge that in these games counting rewards is often almost as informative as summing these. Using our adaptive normalization we can remove this heuristic without diminishing overall performance, and even improve performance on some games, such as Ms. Pac-Man and Centipede, on which previous methods did not perform well.

研究动机与目标

• 解决在任务间目标量级差异极大的情况下学习非线性函数的挑战。
• 开发一种可自适应未知目标尺度且不引入不稳定的归一化方法。
• 实现与任何学习算法和非线性函数逼近器（包括深度学习）的兼容性。
• 消除在强化学习中（尤其是Atari 2600游戏）对启发式奖励裁剪的需求。

提出的方法

• 在训练过程中自适应地对目标函数进行归一化，以处理量级的巨大差异。
• 归一化更新被设计为保持未归一化的输出，从而防止非平稳性和训练不稳定性。
• 该方法对底层学习算法和函数逼近器完全透明，可与深度学习模型无缝集成。
• 通过维护目标统计量（如均值和尺度）的运行估计，动态调整归一化参数。
• 归一化在训练期间应用，但不会改变最终的未归一化预测，从而确保一致性。
• 该方法兼容监督学习和强化学习，包括具有稀疏或稀疏奖励信号的环境。

实验结果

研究问题

• RQ1 自适应归一化是否能在目标函数跨越多个数量级时提升学习稳定性和性能？
• RQ2 在Atari 2600游戏中移除启发式奖励裁剪是否会降低性能，还是自适应归一化能够维持甚至提升性能？
• RQ3 与固定或领域特定的归一化策略相比，所提出的归一化方法在深度强化学习中的表现如何？
• RQ4 该方法在多样化学习任务和函数逼近架构中的泛化能力如何？
• RQ5 该方法是否能在归一化更新过程中保持未归一化的输出，从而避免非平稳性带来的不稳定性？

主要发现

• 所提出的方法在Atari 2600游戏（如Ms. Pac-Man和Centipede）中显著提升了性能，而这些游戏曾是先前深度学习方法的难点。
• 在无需使用奖励裁剪的情况下，性能得以维持或提升，而此前这在稳定训练中是必需的。
• 该方法可在无需事先知晓尺度信息的情况下，稳定学习跨越广泛量级的目标函数。
• 自适应归一化在监督学习和强化学习设置中均有效。
• 该方法在归一化更新过程中保持了未归一化的输出，避免了由非平稳性引起的问题。
• 该方法可与任何学习算法和非线性函数逼近器（包括深度神经网络）兼容。