[论文解读] Motion Switching with Sensory and Instruction Signals by designing Dynamical Systems using Deep Neural Network

Kanata Suzuki, Hiroki MORI+1 more|arXiv (Cornell University)|Dec 14, 2017

Robot Manipulation and Learning被引用 4

一句话总结

该论文提出了一种深度学习框架，通过使用点吸引子设计动力系统，使机器人能够通过感官信号和指令信号在操作任务中切换子任务。通过整合卷积自编码器与多时间尺度RNN，模型学习将视觉反馈与外部指令相结合，实现灵活、自适应的运动控制，并成功在未训练的物体位置下完成布料折叠任务，实现动态切换。

ABSTRACT

To ensure that a robot is able to accomplish an extensive range of tasks, it is necessary to achieve a flexible combination of multiple behaviors. This is because the design of task motions suited to each situation would become increasingly difficult as the number of situations and the types of tasks performed by them increase. To handle the switching and combination of multiple behaviors, we propose a method to design dynamical systems based on point attractors that accept (i) "instruction signals" for instruction-driven switching. We incorporate the (ii) "instruction phase" to form a point attractor and divide the target task into multiple subtasks. By forming an instruction phase that consists of point attractors, the model embeds a subtask in the form of trajectory dynamics that can be manipulated using sensory and instruction signals. Our model comprises two deep neural networks: a convolutional autoencoder and a multiple time-scale recurrent neural network. In this study, we apply the proposed method to manipulate soft materials. To evaluate our model, we design a cloth-folding task that consists of four subtasks and three patterns of instruction signals, which indicate the direction of motion. The results depict that the robot can perform the required task by combining subtasks based on sensory and instruction signals. And, our model determined the relations among these signals using its internal dynamics.

研究动机与目标

• 解决在涉及柔性材料的复杂操作任务中设计灵活、可扩展运动策略的挑战。
• 通过结合感官反馈与外部指令信号，实现在子任务间的动态切换，克服纯模型驱动或纯感官驱动控制的局限性。
• 开发一个统一框架，将任务序列作为分层RNN结构中的轨迹动力学嵌入，实现对不同物体位置和任务变化的泛化能力。
• 探究内部神经动力学如何编码并整合感官信号与指令信号，以实现鲁棒、交互式任务执行。

提出的方法

• 利用点吸引子作为切换阶段设计动力系统，实现稳定且可切换的子任务动力学。
• 采用双流深度神经网络：卷积自编码器用于感官特征提取，多时间尺度RNN用于时间动态建模。
• 利用RNN的上下文层（C_f 和 C_s）分别编码指令信号（C_f）与感官-运动序列（C_s），实现分层信号整合。
• 在包含五个子任务的布料折叠任务上训练模型，使用图像序列和指示运动方向的指令信号。
• 在切换点施加点吸引子约束，对齐内部状态，确保子任务之间平滑过渡。
• 通过主成分分析（PCA）可视化内部状态，分析网络潜在空间中感官与指令信号的编码与整合方式。

实验结果

研究问题

• RQ1 基于深度学习的动力系统能否有效利用感官输入与外部指令信号，在多个子任务间实现切换？
• RQ2 内部神经动力学如何表征并整合感官反馈与指令信号以实现自适应任务执行？
• RQ3 该模型在操作任务中对未训练的物体位置与形状的泛化能力达到何种程度？
• RQ4 该模型能否在无需显式微调的情况下，基于视觉反馈与指令信号的组合实现子任务切换？
• RQ5 RNN的独立内部状态（C_f 与 C_s）分别在指令驱动与感官驱动切换中发挥何种作用？

主要发现

• 该模型成功完成了包含四个子任务与三种指令模式的布料折叠任务，展示了在未训练物体位置下的鲁棒切换能力。
• C_f 神经元编码了指令信号，形成三个对应于运动方向的独立聚类，实现对指令的即时响应，且不受物体位置影响。
• C_s 神经元捕捉了感官-运动动力学，形成四个对应于子任务的独立聚类，表明模型已学习到视觉与运动差异。
• 该模型通过结合感官与指令信号实现了交互式切换，内部状态空间清晰地表现出两类信号的分离与整合。
• 分层结构使模型能够泛化于多样化配置下的任务执行，证实了该方法的鲁棒性与适应性。
• 内部状态的可视化结果表明，模型已学会基于感官反馈与指令信号嵌入并切换任务动力学。