[论文解读] Combining Vision, Machine Learning and Automatic Control to Play the Labyrinth Game

Kristoffer Öfjäll, Michael Felsberg|arXiv (Cornell University)|Feb 1, 2016

Time Series Analysis and Forecasting参考文献 4被引用 4

一句话总结

本文提出了一种混合控制系境，将PID控制器与局部加权投影回归（LWPR）学习控制器相结合，以在物理迷宫游戏中引导小球移动。通过使用计算机视觉进行小球追踪，并利用从自身生成的经验进行在线学习，该系统在处理非线性动力学和迷宫中位置相关的动态变化方面优于初始的PID控制器，尤其在包含障碍物的复杂环境中，LWPR-4表现出最佳性能。

ABSTRACT

The labyrinth game is a simple yet challenging platform, not only for humans but also for control algorithms and systems. The game is easy to understand but still very hard to master. From a system point of view, the ball behaviour is in general easy to model but close to the obstacles there are severe non-linearities. Additionally, the far from flat surface on which the ball rolls provides for changing dynamics depending on the ball position. The general dynamics of the system can easliy be handled by traditional automatic control methods. Taking the obstacles and uneaven surface into accout would require very detailed models of the system. A simple deterministic control algorithm is combined with a learning control method. The simple control method provides initial training data. As the learning method is trained, the system can learn from the results of its own actions and the performance improves well beyond the performance of the initial controller. A vision system and image analysis is used to estimate the ball position while a combination of a PID controller and a learning controller based on LWPR is used to learn to navigate the ball through the maze.

研究动机与目标

• 开发一种鲁棒的控制系统，用于在具有复杂动力学特性的物理迷宫游戏中引导小球移动。
• 解决在障碍物附近和不平整表面处传统控制方法失效的非线性行为挑战。
• 评估将确定性控制（PID）与在线机器学习（LWPR）相结合在真实机器人任务中实现自适应控制的有效性。
• 证明通过自生成数据学习可超越初始控制器的性能，而无需依赖详细的系统模型。
• 在多个复杂度逐步提升的场景中验证该方法的有效性，包括系统行为的动态变化。

提出的方法

• 使用图像分析技术，视觉系统实时追踪小球的位置。
• 双轴PID控制器提供初始控制，并为学习系统生成训练数据。
• LWPR算法通过将当前状态和期望状态映射到所需控制信号，学习系统的逆动力学。
• LWPR-2与LWPR-4变体在输入维度上有所不同：LWPR-2使用速度和期望速度，而LWPR-4额外增加了绝对位置，以更好地处理空间变化的动力学。
• 当学习模型在某区域缺乏足够数据时，系统会切换回PID控制器，以确保训练过程中的稳定性。
• 训练数据由系统自身动作在线生成，从而通过自监督学习实现性能的持续提升。

实验结果

研究问题

• RQ1 结合简单PID控制器与学习控制器的混合控制系境，是否能在复杂物理迷宫中导航小球方面优于单独使用PID控制器？
• RQ2 在输入空间中加入绝对位置，是否能提升学习控制器处理迷宫中位置相关动力学的能力？
• RQ3 学习控制器在多大程度上能够适应系统行为的突发变化，例如在迷宫不同区域出现控制信号反转或偏移？
• RQ4 学习控制器是否具备足够的泛化能力，以应对迷宫边缘和障碍物附近的严重非线性？
• RQ5 系统通过自身动作进行在线自我训练，是否能带来超越初始控制器能力的性能提升？

主要发现

• 在场景1（正弦路径）中，LWPR-2控制器的均方根误差（RMSE）均值为3.5（±0.5），显著低于PID控制器的6.0（±0.8），表明其跟踪性能更优。
• 在场景2a（下半部分存在恒定偏移）中，LWPR-4控制器的均方根误差（RMSE）均值为6.5（±1.6），优于PID（15.5 ±1.6）和LWPR-2（11.5 ±1.8），表明其对动态变化的适应能力更强。
• 在场景2b（下半部分控制信号反转）中，仅LWPR-4控制器成功运行，其均方根误差（RMSE）均值为5.6（±1.1），而PID和LWPR-2均失败（DNF），凸显了空间状态感知的重要性。
• 在场景3（含障碍物的真实迷宫路径）中，仅LWPR-4控制器能维持稳定控制，其均方根误差（RMSE）均值为3.8（±0.6），而PID和LWPR-2均出现持续振荡。
• 由于从自生成数据中进行在线学习，系统性能随时间持续提升，尽管LWPR-4初始未训练，但最终性能超越了初始PID控制器。
• 在输入空间中增加绝对位置（即LWPR-4）对于处理空间变化的动力学至关重要，证实了在复杂环境中使用更丰富的状态表示的必要性。