[论文解读] Deep-Reinforcement-Learning for Gliding and Perching Bodies

Guido Novati, L. Mahadevan+1 more|arXiv (Cornell University)|Jul 7, 2018

Reinforcement Learning in Robotics参考文献 31被引用 3

一句话总结

该论文提出了一种深度强化学习（DRL）框架，使被动的钝形体（椭圆形滑翔器）能够自主学习最优滑翔与着陆策略，而无需事先了解流体动力学知识。通过训练智能体以最小化能量消耗或到达目标的时间，DRL 发现了平滑且鲁棒的控制策略，其性能优于传统最优控制方法，并能泛化至未见过的起始位置。

ABSTRACT

Controlled gliding is one of the most energetically efficient modes of transportation for natural and human powered fliers. Here we demonstrate that gliding and landing strategies with different optimality criteria can be identified through deep reinforcement learning without explicit knowledge of the underlying physics. We combine a two dimensional model of a controlled elliptical body with deep reinforcement learning (D-RL) to achieve gliding with either minimum energy expenditure, or fastest time of arrival, at a predetermined location. In both cases the gliding trajectories are smooth, although energy/time optimal strategies are distinguished by small/high frequency actuations. We examine the effects of the ellipse's shape and weight on the optimal policies for controlled gliding. Surprisingly, we find that the model-free reinforcement learning leads to more robust gliding than model-based optimal control strategies with a modest additional computational cost. We also demonstrate that the gliders with D-RL can generalize their strategies to reach the target location from previously unseen starting positions. The model-free character and robustness of D-RL suggests a promising framework for developing mechanical devices capable of exploiting complex flow environments.

研究动机与目标

• 使用强化学习开发被动钝形体的自主滑翔与着陆策略，无需显式物理建模。
• 探究 DRL 是否能够发现最小化能量消耗或到达目标时间的最优滑翔轨迹。
• 评估 DRL 策略在不同初始条件与体参数下的鲁棒性与泛化能力。
• 从性能与稳定性角度，对比 DRL 策略与经典最优控制策略的表现。
• 考察体形（长宽比）与密度对涌现滑翔飞行形态（如弹跳飞行或翻滚飞行）的影响。

提出的方法

• 采用具有可变半轴与密度的二维平面椭圆体模型，模拟在静止流体中受重力驱动的下降过程。
• 流体力通过基于先前模拟与实验结果的参数化力模型进行建模，避免使用完整的计算流体动力学（CFD）求解。
• 应用深度强化学习（DRL），采用 Racer、归一化优势函数（NAF）与近端策略优化（PPO）等算法。
• 通过结合时间成本与能量消耗，并施加运动学约束，进行奖励塑造，引导智能体精确着陆于目标位置。
• 策略网络通过策略梯度方法进行训练，训练期间通过随机动作实现探索。
• 通过在未见过的起始位置与扰动下评估已训练策略，测试其泛化能力。

实验结果

研究问题

• RQ1 DRL 是否能够在不了解流体动力学知识的前提下，为被动钝形体学习到最优滑翔与着陆策略？
• RQ2 以能量最小化与时间最小化为目标的控制策略在执行频率与轨迹平滑性方面有何差异？
• RQ3 体形的长宽比与密度如何影响不同飞行形态（如弹跳飞行或翻滚飞行）的出现？
• RQ4 DRL 策略能否泛化至训练期间未见过的起始位置？
• RQ5 在鲁棒性与精度方面，DRL 表现与经典最优控制方法相比如何？

主要发现

• DRL 智能体成功学习到平滑的滑翔轨迹，分别实现能量最小化或时间最小化，其执行模式具有显著差异：能量最优策略表现为低频执行，时间最优策略表现为高频执行。
• Racer 算法实现了最精确的着陆分布，1000 条轨迹后着陆位置的均方误差接近 1，优于 NAF 与 PPO。
• 与基于模型的最优控制相比，DRL 策略展现出更优的鲁棒性，尤其在受到扰动与噪声环境影响时。
• 最优策略导致两种截然不同的飞行模式：'弹跳飞行'（交替进行滑翔与快速旋转）与'翻滚飞行'（持续旋转且施加最小扭矩），具体取决于体参数。
• 对未见过的起始位置实现了良好泛化，表明 DRL 策略学习的是可迁移的控制策略，而非记忆轨迹。
• 尽管使用了简化的流体模型，DRL 策略仍能有效泛化至更复杂的模拟环境与机器人实现，表明从低保真度系统到高保真度系统的可迁移性。