[论文解读] Deep Reinforcement Learning for Haptic Shared Control in Unknown Tasks

Franklin Cardeñoso Fernández, Wouter Caarls|arXiv (Cornell University)|Jan 15, 2021

Teleoperation and Haptic Systems被引用 4

一句话总结

本文提出了一种无需任务特异性的触觉共享控制（HSC）系统，采用深度强化学习（DDPG）与卷积神经网络（VGG16）从视觉输入中推断任务意图，实现在遥操作中个性化、自适应的辅助。该系统通过实时用户行为与视觉上下文动态调整触觉反馈，学习用户特定的控制策略，从而减少任务完成时间和用户对触觉反馈的抵抗。

ABSTRACT

Recent years have shown a growing interest in using haptic shared control (HSC) in teleoperated systems. In HSC, the application of virtual guiding forces decreases the user's control effort and improves execution time in various tasks, presenting a good alternative in comparison with direct teleoperation. HSC, despite demonstrating good performance, opens a new gap: how to design the guiding forces. For this reason, the challenge lies in developing controllers to provide the optimal guiding forces for the tasks that are being performed. This work addresses this challenge by designing a controller based on the deep deterministic policy gradient (DDPG) algorithm to provide the assistance, and a convolutional neural network (CNN) to perform the task detection, called TAHSC (Task Agnostic Haptic Shared Controller). The agent learns to minimize the time it takes the human to execute the desired task, while simultaneously minimizing their resistance to the provided feedback. This resistance thus provides the learning algorithm with information about which direction the human is trying to follow, in this case, the pick-and-place task. Diverse results demonstrate the successful application of the proposed approach by learning custom policies for each user who was asked to test the system. It exhibits stable convergence and aids the user in completing the task with the least amount of time possible.

研究动机与目标

• 为解决在未知或动态任务中设计最优引导力的挑战。
• 使控制器能够从视觉输入（如抓取与放置）中隐式推断任务意图，而无需预定义任务定义。
• 通过强化学习学习用户特定策略，实现个性化辅助，适应个体用户行为。
• 通过最小化执行时间与用户对触觉反馈的抵抗，提升任务表现。
• 开发一种在不同用户间具有良好泛化能力，同时保持稳定收敛性与实时遥操作适应性的系统。

提出的方法

• 采用深度确定性策略梯度（DDPG）算法，学习在实时遥操作中实现触觉辅助的连续控制策略。
• 使用卷积神经网络（VGG16）处理环境视觉输入，推断任务上下文并指导强化学习策略。
• 奖励函数设计用于最小化任务完成时间与用户抵抗，其中阈值参数根据用户行为进行调优。
• 系统将基于DDPG的强化学习控制器与比例遥操作控制器相结合，使智能体能够优化人机协同性能。
• 以用户操作与视觉观测作为状态输入，强化学习智能体在仿真环境中通过试错交互进行学习。
• 采用端到端的在线策略交互方式训练策略，使用户行为直接塑造最优辅助策略。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在不了解任务前提下，学习到有效的、用户特定的触觉辅助策略？
• RQ2 在任务未知的遥操作场景中，CNN（VGG16）从视觉输入中推断任务意图的能力如何？
• RQ3 与基线遥操作相比，所学习的策略在多大程度上减少了任务完成时间与用户抵抗？
• RQ4 该系统在不同用户间的泛化能力如何？用户特定微调是否能进一步提升性能？
• RQ5 当阈值参数基于单一用户的行为设定时，奖励函数是否能有效捕捉用户意图？

主要发现

• 系统通过训练成功学习到用户特定策略，显著缩短了任务完成时间并减少了用户抵抗。
• 受试者2在训练后平均速度显著提升且力反馈降低，表明策略具有强适应性。
• 受试者1尽管初始速度较低且耗时较长，仍表现出一致的策略学习，证实系统可适应多样化用户行为。
• 受试者0表现居中，表明系统具备跨用户泛化能力，但仅通过用户特定训练才能达到最优性能。
• 所有受试者的策略均实现稳定收敛，证明系统在实时操作中具备鲁棒性与可靠性。
• 通过VGG16引入视觉输入，实现了无需显式任务定义的动态任务推断，支持无任务特异性操作。