[论文解读] DRL: Deep Reinforcement Learning for Intelligent Robot Control -- Concept, Literature, and Future

Aras R. Dargazany|arXiv (Cornell University)|Apr 20, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种通用的、与应用和平台无关的深度强化学习（DRL）框架，用于基于视觉观测的智能机器人控制，利用记录的专家示范（包括奖励和动作），并结合卷积神经网络的深度Q网络（DQN）端到端学习最优控制策略。其主要贡献在于一种高层级、解耦的控制架构，使机器人能够在多种机器人平台和任务中实现自主、鲁棒且可泛化的学习。

ABSTRACT

Combination of machine learning (for generating machine intelligence), computer vision (for better environment perception), and robotic systems (for controlled environment interaction) motivates this work toward proposing a vision-based learning framework for intelligent robot control as the ultimate goal (vision-based learning robot). This work specifically introduces deep reinforcement learning as the the learning framework, a General-purpose framework for AI (AGI) meaning application-independent and platform-independent. In terms of robot control, this framework is proposing specifically a high-level control architecture independent of the low-level control, meaning these two required level of control can be developed separately from each other. In this aspect, the high-level control creates the required intelligence for the control of the platform using the recorded low-level controlling data from that same platform generated by a trainer. The recorded low-level controlling data is simply indicating the successful and failed experiences or sequences of experiments conducted by a trainer using the same robotic platform. The sequences of the recorded data are composed of observation data (input sensor), generated reward (feedback value) and action data (output controller). For experimental platform and experiments, vision sensors are used for perception of the environment, different kinematic controllers create the required motion commands based on the platform application, deep learning approaches generate the required intelligence, and finally reinforcement learning techniques incrementally improve the generated intelligence until the mission is accomplished by the robot.

研究动机与目标

• 解决缺乏一种与特定平台、应用或底层控制器无关的通用型、高层级控制架构的问题，以实现智能机器人控制。
• 通过提出一种将高层智能学习与底层运动控制分离的框架，统一机器人控制研究，实现独立开发。
• 通过基于深度强化学习和模仿学习的通用AI框架标准化，推动机器人领域更快发展。
• 仅使用RGB-D摄像头输入和记录的专家轨迹，实现从视觉到动作策略的端到端训练，最大限度减少对手动编码规则的依赖。
• 通过自奖励生成、自监督学习以及基于模仿学习的少样本适应，为未来实现AGI级别的机器人自主性奠定基础。

提出的方法

• 该框架使用人类训练员在相同机器人平台上操作时记录的低层控制数据（观测、动作和奖励）作为专家示范。
• 采用带有卷积神经网络（CNN）的深度Q网络（DQN），从原始RGB-D图像作为输入，输出动作，学习Q值函数。
• DQN智能体通过从示范数据集中成功和失败经验中学习，选择能最大化累积奖励的动作。
• 高层控制策略与底层运动学控制器独立训练，支持在不同机器人系统间模块化开发和复用。
• 该方法支持从视觉输入到力矩指令的端到端学习，且可扩展至循环神经网络（如LSTM）以实现时序序列建模。
• 该框架设计为与应用和平台无关，支持部署在多种机器人上，包括用于乒乓球任务的KUKA KR6 R 900 Sixx Agilus。

实验结果

研究问题

• RQ1 能否仅使用视觉和专家示范数据，设计一种与应用和平台无关的通用型深度强化学习框架，用于智能机器人控制？
• RQ2 如何将高层决策智能与底层运动控制解耦，以实现模块化、可复用且可扩展的机器人学习系统？
• RQ3 在复杂操作任务中，深度强化学习结合DQN和CNN在最小人工干预下，能在多大程度上实现鲁棒的、端到端的视觉到动作策略学习？
• RQ4 多模态传感器融合（如RGB-D、LIDAR、高速相机）在动态环境中实现鲁棒、实时机器人控制方面发挥什么作用？
• RQ5 能否通过成功与失败经验的回放，实现自奖励生成和自监督学习，从而实现自主的、类人水平的机器人智能？

主要发现

• 所提出的DRL框架实现了与特定机器人平台、应用和底层控制器无关的高层机器人控制，促进了可复用性和模块化。
• 使用DQN与CNN对RGB-D图像进行端到端训练，使机器人能够直接从视觉和专家示范数据中学习复杂操作任务。
• 该框架支持从成功和失败经验中学习，即使没有显式的奖励塑形，也能通过强化学习实现渐进式改进。
• 使用记录的专家示范（包括观测、动作和奖励）可实现有效的模仿学习和行为克隆，显著减少对环境交互的依赖。
• 该框架可扩展至复杂机器人系统，如配备高速相机、LIDAR和球类投掷装置的KUKA KR6 R 900 Sixx Agilus，适用于乒乓球学习任务。
• 本研究指出，DRL是实现机器人领域真正AGI的最具可行性的路径，尤其当与自奖励生成、自监督学习以及基于示范的少样本学习相结合时。