[논문 리뷰] A Robot to Shape your Natural Plant: The Machine Learning Approach to Model and Control Bio-Hybrid Systems

Mostafa Wahby, Mary Katherine Heinrich외 6명|IT University Of Copenhagen (IT University of Copenhagen)|2018. 04. 18.

Smart Agriculture and AI참고 문헌 23인용 수 5

한 줄 요약

이 논문은 기계학습 기반 접근 방식을 통해 로봇 제어를 활용해 자연 식물의 형태를 형성하는 방법을 제시한다. 식물 운동의 LSTM 기반 전방 모델과 경화 현상을 활용하여, 장애물 회피 작업을 위한 신경망 컨트롤러를 진화시킨다. 이 방법은 시뮬레이션에서 진화된 컨트롤러를 실제 실험으로 성공적으로 이식하여, 식물 형태의 ' embodiment memory '를 통해 장애물 주변에서 충돌 없이 성장하는 것을 입증한다.

ABSTRACT

Bio-hybrid systems---close couplings of natural organisms with technology---are high potential and still underexplored. In existing work, robots have mostly influenced group behaviors of animals. We explore the possibilities of mixing robots with natural plants, merging useful attributes. Significant synergies arise by combining the plants' ability to efficiently produce shaped material and the robots' ability to extend sensing and decision-making behaviors. However, programming robots to control plant motion and shape requires good knowledge of complex plant behaviors. Therefore, we use machine learning to create a holistic plant model and evolve robot controllers. As a benchmark task we choose obstacle avoidance. We use computer vision to construct a model of plant stem stiffening and motion dynamics by training an LSTM network. The LSTM network acts as a forward model predicting change in the plant, driving the evolution of neural network robot controllers. The evolved controllers augment the plants' natural light-finding and tissue-stiffening behaviors to avoid obstacles and grow desired shapes. We successfully verify the robot controllers and bio-hybrid behavior in reality, with a physical setup and actual plants.

연구 동기 및 목표

• 로봇 제어와 자연 식물 성장을 융합하여 형태 제작을 위한 생하이브리드 시스템을 개발하기 위해.
• 기계학습을 활용해 동적인 환경에서 식물 형태를 제어하는 과제를 해결하기 위해.
• 시뮬레이션에서 진화된 로봇 컨트롤러를 실제 식물으로 이식함으로써 현실 격차를 해소하기 위해.
• 데이터 기반 기법을 사용하여 복잡한 식물 행동, 특히 광성장 및 줄기 경화 현상을 모델링하기 위해.
• 단순한 2차원 장애물 회피를 넘어서 스케일링 가능하고 적응 가능한 식물 성장 제어를 가능하게 하기 위해.

제안 방법

• 제어된 빛 자극 하에서 흔들기 식물(Phaseolus vulgaris)의 운동과 경화 현상에 대한 실험 데이터를 수집한다.
• 장기 단기 기억(LSTM) 순환 신경망을 사용하여 식물 역학을 전방 모델로 학습시킨다.
• 학습된 LSTM을 진화적 로봇공학에서 시뮬레이터로 활용하여 동적 빛 자극에 대응하는 인공신경망(ANN) 컨트롤러를 진화시킨다.
• 시뮬레이션에서 ANN 컨트롤러를 진화시켜 장애물을 피하면서 식물 성장을 유도한다.
• 실제 식물과 로봇 조명 제어 시스템을 사용하여 진화된 컨트롤러를 물리적 현실에서 검증한다.
• 과거의 운동과 경화 현상이 최종 식물 형태에 영향을 미치는 '신체기억(embodied memory)' 개념을 제어 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 데이터 기반 LSTM 모델이 시뮬레이션에 사용하기 위해 식물 줄기의 경화 및 광성장 운동의 시간적 동역학을 정확하게 캡처할 수 있는가?
• RQ2 진화적 로봇공학이 시뮬레이션에서 유의미하게 성공적으로 실물 식물 시스템으로 이식 가능한 컨트롤러를 얼마나 효과적으로 생성할 수 있는가?
• RQ3 식물의 과거 운동 및 경화 패턴이 최종 형태에 얼마나 기여하는가? 이를 제어에 활용할 수 있는가?
• RQ4 오직 빛 자극만을 사용하여 장애물 주변에서 충돌 없이 성장하면서도 목표 지점으로 유도할 수 있는가?
• RQ5 이 접근 방식은 복잡한 3차원 식물 형태나 다수의 식물을 제어하는 데 있어 스케일링 한계가 무엇인가?

주요 결과

• LSTM 모델은 실험 데이터로부터 식물 운동과 경화의 복잡한 시간적 동역학을 성공적으로 캡처하여 시뮬레이션을 위한 효과적인 전방 모델로 기능하였다.
• 진화된 로봇 컨트롤러는 실제 실험에서 장애물 회피 행동을 성공적으로 구현하였으며, 식물 끝부분이 198시간의 성장 후 목표 영역에 도달하였다.
• 시스템은 시뮬레이션에서 현실로의 성공적인 이식을 보여주었으며, 현실 격차 완화 전략의 타당성을 검증하였다.
• 후기 실험에서 적합도 값이 최대 99.3%에 도달하여 목표 지점으로 향하는 식물 성장 유도의 높은 성공률를 나타내었다.
• 식물의 과거 운동 및 경화 패턴이 최종 형태에 직접적인 영향을 미치는 '신체기억' 개념이 관찰되었으며, 이를 제어에 활용할 수 있었다.
• 이 접근 방식은 스케일링 가능한 식물 성장 제어를 가능하게 하였으며, 향후 3차원 형태 제작, 식물 직조, 건축 구조물 등에의 적용 가능성이 있다.