[论文解读] Learning Feature Relevance Through Step Size Adaptation in Temporal-Difference Learning

Alexandra Kearney, Vivek Veeriah+3 more|arXiv (Cornell University)|Mar 8, 2019

Machine Learning and Data Classification参考文献 22被引用 7

一句话总结

该论文提出 AutoTIDBD，一种在线元学习方法，通过为时序差分（TD）学习中的每个特征自适应调整学习率，自动识别并优先处理相关特征。通过将增量 Delta-Barrier-Delta（IDBD）方法扩展至 TD 学习，并结合 AutoStep 的归一化机制，该方法动态调整各特征的学习率，实现鲁棒且自适应的表征学习，在多种任务中表现优于静态学习率方法，包括非平稳环境和真实世界机器人预测问题。

ABSTRACT

There is a long history of using meta learning as representation learning, specifically for determining the relevance of inputs. In this paper, we examine an instance of meta-learning in which feature relevance is learned by adapting step size parameters of stochastic gradient descent---building on a variety of prior work in stochastic approximation, machine learning, and artificial neural networks. In particular, we focus on stochastic meta-descent introduced in the Incremental Delta-Bar-Delta (IDBD) algorithm for setting individual step sizes for each feature of a linear function approximator. Using IDBD, a feature with large or small step sizes will have a large or small impact on generalization from training examples. As a main contribution of this work, we extend IDBD to temporal-difference (TD) learning---a form of learning which is effective in sequential, non i.i.d. problems. We derive a variety of IDBD generalizations for TD learning, demonstrating that they are able to distinguish which features are relevant and which are not. We demonstrate that TD IDBD is effective at learning feature relevance in both an idealized gridworld and a real-world robotic prediction task.

研究动机与目标

• 为解决强化学习中人工特征工程的挑战，实现对相关输入特征的自动识别。
• 将原本用于监督学习的增量 Delta-Barrier-Date（IDBD）元学习算法扩展至时序差分（TD）学习，以适用于序列化、非独立同分布的任务。
• 开发一种鲁棒的在线方法，按特征自适应调整学习率，以提升泛化能力并减少对人工调参的依赖。
• 评估所学习的学习率是否能在合成环境与真实世界环境中有效区分相关特征与噪声特征。
• 证明元学习得到的学习率可显著提升在广泛元学习率与初始学习率设置下的性能表现。

提出的方法

• 通过推导线性函数逼近器的广义元梯度下降形式，将 IDBD 算法适配至 TD 学习。
• 提出 AutoTIDBD，引入 AutoStep 的归一化机制以稳定元更新过程，防止学习率自适应过程中的发散。
• 采用元梯度更新规则，根据预测误差对各特征学习率的梯度来调整其学习率。
• 将方法应用于基于替换和累积时序差分（λ）的在线策略 TD(λ) 学习，确保与标准 TD 学习框架的兼容性。
• 采用一种归一化方案，当学习率超过阈值时，通过约束有效学习率来防止过冲。
• 利用学习到的学习率大小作为特征重要性的指示器，其中较小的学习率表示不可靠或噪声特征。

实验结果

研究问题

• RQ1 IDBD 风格的元学习方法能否成功推广至序列决策中的时序差分学习？
• RQ2 在多种元超参数设置下，AutoTIDBD 是否优于使用固定学习率的标准 TD 学习方法？
• RQ3 在非平稳环境中，算法是否能通过学习特征特定的学习率有效区分相关特征与噪声特征？
• RQ4 与标准 TD 方法相比，AutoTIDBD 在初始学习率和元学习率变化下的鲁棒性如何？
• RQ5 学习到的学习率能否作为特征重要性的代理指标，支持学习系统中的早期预测评估或内在动机？

主要发现

• AutoTIDBD 在网格世界环境中成功学习到特征重要性，对噪声特征分配的学习率显著低于相关特征。
• 在网格世界中，噪声特征的学习率随时间持续减小，与相关特征形成清晰分离。
• 在真实世界机器人预测任务中，与标准 TD 学习相比，AutoTIDBD 对初始元学习率和初始学习率设置的敏感性显著降低。
• 该方法在非平稳环境中优于经过调优的静态学习率基线 TD 方法，尤其在特征重要性随时间变化时表现更优。
• 学习到的学习率大小与特征可靠性高度相关，可有效识别无关或噪声输入。
• AutoTIDBD 中的归一化机制防止了过冲，即使学习率短暂超过 1，也能确保稳定收敛。