[论文解读] Improving the Speed of Response of Learning Algorithms Using Multiple Models

Kumpati S. Narendra, Snehasis Mukhopadyhay+1 more|arXiv (Cornell University)|Oct 16, 2015

Neural Networks and Applications参考文献 1被引用 8

一句话总结

本文提出使用多个模型以加速强化学习中的学习速度，特别在最简单的学习机制——学习自动机上进行了验证。通过维护并动态选择环境行为的多个模型，该方法实现了比传统单模型算法更快、更平滑的收敛效果，并提出了扩展至复杂马尔可夫决策过程和非线性系统的可能性。

ABSTRACT

This is the first of a series of papers that the authors propose to write on the subject of improving the speed of response of learning systems using multiple models. During the past two decades, the first author has worked on numerous methods for improving the stability, robustness, and performance of adaptive systems using multiple models and the other authors have collaborated with him on some of them. Independently, they have also worked on several learning methods, and have considerable experience with their advantages and limitations. In particular, they are well aware that it is common knowledge that machine learning is in general very slow. Numerous attempts have been made by researchers to improve the speed of convergence of algorithms in different contexts. In view of the success of multiple model based methods in improving the speed of convergence in adaptive systems, the authors believe that the same approach will also prove fruitful in the domain of learning. In this paper, a first attempt is made to use multiple models for improving the speed of response of the simplest learning schemes that have been studied. i.e. Learning Automata.

研究动机与目标

• 解决机器学习算法中众所周知的收敛缓慢问题，特别是在强化学习中的表现。
• 探究基于多个模型的方法——已在自适应控制中被证明有效——是否也能同样提升学习系统的训练速度。
• 聚焦于最简单的学习机制——学习自动机——作为基础案例，以展示该方法的基本原理。
• 将多模型框架扩展至更复杂的动态环境，包括马尔可夫决策过程和连续状态系统。
• 为将多模型方法应用于无模型与基于模型的学习方案，提供理论和仿真基础。

提出的方法

• 在学习自动机与随机环境之间建立反馈回路，其中动作根据对奖励概率的估计进行选择。
• 维护环境响应的多个模型（即对奖励概率 d_i 的多个估计），以代表对系统不同假设的表达。
• 根据历史表现动态选择或组合表现最佳的模型，以指导动作选择。
• 应用类似于间接自适应控制中所用的模型选择或组合策略，以提升收敛速度。
• 通过使用多个模型估计转移矩阵和奖励矩阵，将框架扩展至离散状态的MDP，然后选择最优模型进行动态规划。
• 对于连续状态系统，使用一组具有不同参数的辨识模型（例如 f̂_i）来预测状态演化，并通过组合以提高预测精度。

实验结果

研究问题

• RQ1 与单模型方法相比，多模型策略是否能显著缩短学习自动机的响应时间？
• RQ2 自适应控制中所用的模型选择或组合技术，如何被调整以加速强化学习系统的学习速度？
• RQ3 在静态与动态环境中，多模型学习的收敛特性有何差异？
• RQ4 多模型方法能否推广至具有未知转移与奖励动态的马尔可夫决策过程？
• RQ5 在非线性动力系统中，使用异构模型（不同结构或参数化方式）如何影响学习速度与准确性？

主要发现

• 与传统单模型算法相比，多模型方法显著提升了学习自动机的收敛速度与平滑性。
• 通过维护并选择关于奖励概率的多个假设，该方法可更快识别出最优动作（α_opt）。
• 仿真结果表明，多模型下的收敛行为显著更优，表现为振荡减少与更快稳定。
• 该框架可扩展至马尔可夫决策过程，在此场景中可使用多个转移与奖励矩阵模型来加速策略优化。
• 在连续状态系统中，组合多个辨识模型（f̂_i）可获得比任一单个模型更精确的状态预测，从而提升学习性能。
• 该方法适用于无模型与基于模型的学习，表明其在加速各类强化学习问题方面具有广泛潜力。