[논문 리뷰] TrimBot2020: an outdoor robot for automatic gardening

Nicola Strisciuglio, Radim Tyleček외 10명|University of Groningen research database (University of Groningen / Centre for Information Technology)|2018. 04. 05.

Smart Agriculture and AIAgricultural and Biological Sciences참고 문헌 18인용 수 20

한 줄 요약

TrimBot2020는 수정된 잔디 깎는 기계 기반의 외부 로봇 플랫폼을 통해 자율적인 관목 및 장미 가지치기를 위한 새로운 접근을 제시한다. 이 시스템은 360° 펜타곤 스테레오 카메라 레이아웃과 함께 Kinova 로봇 팔을 탑재하여 다중 센서 융합, 시각-자기관성 온도메트리, 의미론적 3D 재구성 기술을 활용해 복잡한 정원 환경에서 이동하고, 비정형 식물 형태를 탐지하고 모델링하며, 변화하는 조건에서도 정밀한 가지치기를 수행한다. 이는 소비자용 정원 로봇 개발을 향한 중요한 단계를 의미한다.

ABSTRACT

Robots are increasingly present in modern industry and also in everyday life. Their applications range from health-related situations, for assistance to elderly people or in surgical operations, to automatic and driver-less vehicles (on wheels or flying) or for driving assistance. Recently, an interest towards robotics applied in agriculture and gardening has arisen, with applications to automatic seeding and cropping or to plant disease control, etc. Autonomous lawn mowers are succesful market applications of gardening robotics. In this paper, we present a novel robot that is developed within the TrimBot2020 project, funded by the EU H2020 program. The project aims at prototyping the first outdoor robot for automatic bush trimming and rose pruning.

연구 동기 및 목표

• 비정형 정원 환경에서 이동하고 정밀한 가지치기 작업을 수행할 수 있는 완전 자율 외부 로봇을 개발한다.
• 복잡한 식물 기하학, 높은 텍스처성, 변화하는 조도 조건 등에서의 시각적 주행 및 물체 인식 과제를 해결한다.
• 실시간 3D 재구성, 의미론적 세그멘테이션, 비정형으로 된 관목 및 토피어리에 대한 도구 조작을 가능하게 하기 위해 고급 로봇공학, 컴퓨터 비전, 메카트로닉스를 통합한다.
• 풍속에 의한 식물 진동, 지형의 비정형성, 조도 변화 등 실제 환경 조건을 고려해 센서 융합 및 적응형 제어를 통해 안정적인 운영을 실현한다.
• 상용 잔디 깎는 기계 플랫폼에 로봇 팔과 다중 카메라 레이아웃을 통합하여, 정원 맵핑부터 대상별 가지치기까지의 종단 간 자동화를 실현한 프로토타입 시스템을 구현한다.

제안 방법

• 모든 진동을 줄이기 위해 안정화 장치를 장착한 수정된 Bosch Indigo 잔디 깎는 기계를 기반으로 한 이동 플랫폼을 사용하며, Kinova 로봇 팔을 탑재한다.
• 360° 시각 커버리지를 확보하기 위해 다섯 쌍의 스테레오 카메라(컬러 및 회색조)로 구성된 오각형 레이아웃을 사용하여 동기적 국소화 및 맵핑(SLAM)을 수행한다.
• 가속도계 및 스테레오 깊이 추정을 이용한 시각-자기관성 온도메트리를 적용하여, 변화가 많은 외부 환경에서 안정적이고 실시간으로 3D 재구성 및 국소화를 구현한다.
• 다중 기준 스테레오 및 의미론적 세그멘테이션 기법(예: 딥러닝 기반)을 활용해 RGB 및 깊이 데이터에서 식물 물체(예: 토피어리, 장미 관목 등)를 탐지하고 분류한다.
• 기하학적 모델링과 전문 가지치기 지식을 통합하여 목표 형태와 식물 변형 역학에 기반한 최적의 절단 경로 및 도구 궤적을 결정한다.
• 식물의 탄성과 바람에 의한 움직임을 고려한 서보링 전략을 적용하여, 시각 및 힘 감지 센서에서 온라인 피드백을 활용해 절단 중 정밀도를 유지한다.

실험 결과

연구 질문

• RQ1 비정형이고 변화가 많은 외부 정원 환경에서 복잡한 질감과 변동 조도 조건을 고려할 때, 이동형 로봇이 어떻게 안정적이고 정확한 주행 및 조작을 수행할 수 있는가?
• RQ2 비정형 식물 형태(예: 토피어리, 장미 관목 등)에 대한 신뢰할 수 있는 의미론적 장면 이해 및 물체 탐지 기능을 위해 어떤 다중 센서 융합 및 3D 재구성 기법이 필요한가?
• RQ3 외부 조건의 과제(직사광선, 그림자, 바람에 의한 움직임 등)를 고려해 시각-자기관성 SLAM 및 실시간 깊이 추정 기술을 어떻게 조정할 수 있는가?
• RQ4 탄성 및 변형 가능한 식물 구조에 대해 정밀하고 적응형 가지치기를 수행할 수 있는 제어 및 계획 전략은 무엇인가? 이는 안전성과 효율성도 유지해야 한다.
• RQ5 소비자용 로봇 플랫폼에 고급 시각 및 제어 시스템을 통합하여 외부 정원 작업에서 종단 간 자동화를 얼마나 높이기 위한가?

주요 결과

• TrimBot2020 프로토타입은 다양한 조도 조건과 바람이 있는 실제 외부 정원 환경에서 자율 주행 및 가지치기 기능을 성공적으로 시연하였다. 복잡한 토피어리 및 장미 관목의 경우에도 효과적으로 작동하였다.
• 360° 스테레오 카메라 레이아웃 덕분에 안정적인 시각 온도메트리와 고밀도 3D 재구성 기능을 확보하였으며, 높은 텍스처성과 동적인 환경에서도 정확한 국소화가 가능하였다.
• 컬러 및 회색조 스테레오 쌍의 통합으로 어려운 조도 조건에서 성능 향상을 달성하였으며, 직사광선 조건에서도 회색조 카메라가 안정적인 깊이 추정을 제공하였다.
• 의미론적 세그멘테이션과 3D 식물 모델링을 통해 로봇은 가지치기 대상 식물을 식별하고 기하학적 지식 및 전문 지식 기반으로 최적의 절단 경로를 계산하였다.
• 로봇 차체에 장착된 안정화 장치가 절단 중 진동을 크게 감소시켜 로봇 팔의 움직임 정밀도와 도구 정렬 정확도를 향상시켰다.
• 환경 맵핑에서 대상별 가지치기까지의 종단 간 자동화가 가능하다는 점을 입증하였으며, 이는 정원 농업 분야에서 소비자용 로봇 기술 발전을 향한 중요한 단계를 의미한다.