[论文解读] A Brain Inspired Learning Algorithm for the Perception of a Quadrotor in Wind

Ajith Anil Meera, Martijn Wisse|arXiv (Cornell University)|Sep 24, 2021

EEG and Brain-Computer Interfaces被引用 4

一句话总结

该论文提出了一种受大脑启发的动态期望最大化（DEM）算法，通过使用广义坐标将未建模的风动力学和非线性建模为彩色噪声，从而在不确定性条件下实现四旋翼机更优的输出预测。在真实飞行实验中，DEM在所有经典估计器中实现了最低的均方预测误差（MSPE），并首次实现了DEM在机器人感知和通过自由能最大化进行模型阶数选择方面的实验验证。

ABSTRACT

The quest for a brain-inspired learning algorithm for robots has culminated in the free energy principle from neuroscience that models the brain's perception and action as an optimization over its free energy objectives. Based on this idea, we propose an estimation algorithm for accurate output prediction of a quadrotor flying under unmodelled wind conditions. The key idea behind this work is the handling of unmodelled wind dynamics and the model's non-linearity errors as coloured noise in the system, and leveraging it for accurate output predictions. This paper provides the first experimental validation for the usefulness of generalized coordinates for robot perception using Dynamic Expectation Maximization (DEM). Through real flight experiments, we show that the estimator outperforms classical estimators with the least error in output predictions. Based on the experimental results, we extend the DEM algorithm for model order selection for complete black box identification. With this paper, we provide the first experimental validation of DEM applied to robot learning.

研究动机与目标

• 为应对风等未建模动力学带来的鲁棒机器人感知挑战，利用受大脑启发的学习原理。
• 验证广义坐标在未建模系统动力学情况下的估计精度提升作用。
• 将DEM扩展至完整的黑箱系统辨识，包括自动模型阶数选择。
• 为DEM在真实机器人应用中优于经典估计器提供实证证据。

提出的方法

• 该算法将未建模的风和非线性建模为彩色过程噪声，将其视为自由能优化框架中的感官意外（sensory surprisal）。
• 采用动态期望最大化（DEM）联合估计隐状态、输入、参数和噪声超参数，使用广义坐标。
• 该方法采用自由能目标函数，平衡预测误差与模型复杂度，从而实现不确定性的有效处理。
• 通过最大化平均自由能（$\bar{F}$）实现模型阶数选择，该值在模型阶数达到真实系统阶数时趋于饱和。
• 该算法通过类似EM的框架，迭代更新估计值，包括D_STEP（状态与输入估计）和M_STEP（参数与噪声超参数更新）。
• 提出了一种扩展算法用于黑箱辨识，通过逐步初始化模型阶数，并基于$\bar{F}$最大化选择最优阶数。

实验结果

研究问题

• RQ1 与经典估计器相比，基于DEM的感知结合广义坐标是否能提升四旋翼机在未建模风况下的输出预测精度？
• RQ2 在不确定性条件下，使用广义坐标（如状态的导数）是否有助于系统动力学的估计？
• RQ3 自由能目标函数（$\bar{F}$）能否作为黑箱系统辨识中模型阶数选择的可靠指标？
• RQ4 在真实世界风扰动下，DEM是否在预测精度方面优于经典系统辨识方法（如子空间法（SS）、预测误差法（PEM）和EM）？

主要发现

• 在全部五次飞行实验中，DEM在150步前瞻输出预测中均实现了最低的均方预测误差（MSPE），优于SS、PEM和EM。
• 使用广义坐标降低了MSPE，证明其在捕捉导数信息方面具有价值，从而在未建模动力学条件下提升估计性能。
• 当模型阶数与真实系统阶数一致时，平均自由能（$\bar{F}$）趋于饱和，验证了$\bar{F}$作为模型阶数选择可靠指标的有效性。
• 扩展的DEM算法在黑箱场景中成功识别出正确的模型阶数，证实其在完整系统辨识中的实用性。
• 实验结果首次提供了DEM在机器人感知中真实世界应用的验证，展示了其实际可行性与优越性。