[论文解读] A Robot to Shape your Natural Plant: The Machine Learning Approach to Model and Control Bio-Hybrid Systems

Mostafa Wahby, Mary Katherine Heinrich+6 more|IT University Of Copenhagen (IT University of Copenhagen)|Apr 18, 2018

Smart Agriculture and AI参考文献 23被引用 5

一句话总结

本文提出一种基于机器学习的植物形态控制方法，通过机器人控制实现植物自然生长，利用基于LSTM的植物运动前向模型与茎部加劲机制，演化神经网络控制器以完成避障任务。该方法成功将仿真中演化出的控制器迁移至真实世界实验，通过植物形态中的“具身记忆”实现绕障碍物无碰撞生长。

ABSTRACT

Bio-hybrid systems---close couplings of natural organisms with technology---are high potential and still underexplored. In existing work, robots have mostly influenced group behaviors of animals. We explore the possibilities of mixing robots with natural plants, merging useful attributes. Significant synergies arise by combining the plants' ability to efficiently produce shaped material and the robots' ability to extend sensing and decision-making behaviors. However, programming robots to control plant motion and shape requires good knowledge of complex plant behaviors. Therefore, we use machine learning to create a holistic plant model and evolve robot controllers. As a benchmark task we choose obstacle avoidance. We use computer vision to construct a model of plant stem stiffening and motion dynamics by training an LSTM network. The LSTM network acts as a forward model predicting change in the plant, driving the evolution of neural network robot controllers. The evolved controllers augment the plants' natural light-finding and tissue-stiffening behaviors to avoid obstacles and grow desired shapes. We successfully verify the robot controllers and bio-hybrid behavior in reality, with a physical setup and actual plants.

研究动机与目标

• 开发一种结合机器人控制与自然植物生长的生物混合系统，用于形状制造。
• 解决在动态环境中利用机器学习控制植物形态的挑战。
• 通过将仿真中演化出的机器人控制器迁移至真实植物，弥合现实差距。
• 利用数据驱动技术建模复杂植物行为，特别是向光性和茎部加劲。
• 实现超越简单二维避障的可扩展、自适应植物生长控制。

提出的方法

• 在受控光照刺激下，收集菜豆（Phaseolus vulgaris）运动与加劲的实验数据。
• 训练一种长短期记忆（LSTM）循环神经网络，作为植物动力学的前向模型。
• 将训练好的LSTM用作进化机器人学中的模拟器，以演化人工神经网络（ANN）控制器，应对动态光照刺激。
• 在仿真中演化ANN控制器，引导植物在避障的同时避免碰撞。
• 通过真实植物与机器人光照控制系统，在物理现实中验证演化出的控制器。
• 在控制框架中引入“具身记忆”概念——即过往运动与加劲行为影响最终植物形态。

实验结果

研究问题

• RQ1 数据驱动的LSTM模型能否准确捕捉植物茎部加劲与向光运动的时序动力学，以用于仿真？
• RQ2 进化机器人学在仿真中生成的控制器，其向真实植物系统的迁移效果如何？
• RQ3 植物过往的运动与加劲历史在多大程度上影响其最终形态？该特性能否用于控制？
• RQ4 该系统能否仅通过光照刺激实现无碰撞绕障生长，并引导植物向目标前进？
• RQ5 该方法在控制复杂三维植物形态或多株植物方面的可扩展性极限是什么？

主要发现

• LSTM模型成功从实验数据中捕捉了植物运动与加劲的复杂时序动力学，作为仿真中的有效前向模型。
• 演化出的机器人控制器在真实世界实验中实现了避障行为，植物尖端在198小时生长后抵达目标区域。
• 系统成功实现从仿真到现实的迁移，验证了现实差距缓解策略的有效性。
• 后期实验中，适应度值达到99.3%，表明在引导植物向目标生长方面具有极高成功率。
• 观察到“具身记忆”现象，即植物过往的运动与加劲模式直接影响其最终形态。
• 该方法实现了可扩展的植物生长控制，未来有望应用于三维形状制造、植物编织与建筑结构。