[論文レビュー] TrimBot2020: an outdoor robot for automatic gardening

Nicola Strisciuglio, Radim Tyleček+10 more|University of Groningen research database (University of Groningen / Centre for Information Technology)|Apr 5, 2018

Smart Agriculture and AIAgricultural and Biological Sciences参考文献 18被引用数 20

ひとこと要約

TrimBot2020は、改造された芝生 mower ベースと Kinova ロボットアーム、360°の五角形ステレオカメラレシプロを統合した、自律的で屋外用のブッシュおよびバラの剪定に特化した新規なロボットプラットフォームを提示する。本システムはマルチセンサーフュージョン、ビジュアルインertリアルオドメトリ、および意味的3次元再構成を用い、複雑な庭園環境をナビゲートし、不規則な植物形状を検出し、モデル化し、動的条件下でも正確な剪定を実行する。これは、一般消費者向けの庭園ロボットへの重要な一歩を示している。

ABSTRACT

Robots are increasingly present in modern industry and also in everyday life. Their applications range from health-related situations, for assistance to elderly people or in surgical operations, to automatic and driver-less vehicles (on wheels or flying) or for driving assistance. Recently, an interest towards robotics applied in agriculture and gardening has arisen, with applications to automatic seeding and cropping or to plant disease control, etc. Autonomous lawn mowers are succesful market applications of gardening robotics. In this paper, we present a novel robot that is developed within the TrimBot2020 project, funded by the EU H2020 program. The project aims at prototyping the first outdoor robot for automatic bush trimming and rose pruning.

研究の動機と目的

• 構造的でない庭園環境においてナビゲーションと正確な剪定作業を実行できる完全に自律的な屋外ロボットの開発。
• 複雑な植物幾何学、高密度なテクスチャ、変動する照明条件下での視覚的ナビゲーションと物体認識の課題に対処すること。
• リアルタイムでの3次元再構成、意味的セグメンテーション、不規則に形状したブッシュやトップイアリのカットツールへのサーボ制御を可能にするために、先進的なロボティクス、コンピュータビジョン、メカトロニクスを統合すること。
• 風による植物の振動、地形の不整、照明の変化といった実世界の条件を踏まえ、センサーフュージョンと適応制御により、安定した運用を実現すること。
• 商業用芝生 mower プラットフォームにロボットアームとマルチカメラレシプロを追加することで、庭園マップ作成から標的剪定までをエンドツーエンド自動化できるプロトタイプシステムの実証。

提案手法

• 振動を低減するためのスタビライザーを装備した、改造されたBosch Indigo芝生 mower を移動ベースとして使用。
• 360°の視覚的カバレッジを実現するため、5組のステレオカメラペア（RGBおよびグレースケール）からなる五角形レシプロを採用し、同時位置特定とマップ作成（SLAM）を実現。
• IMUとステレオ深度推定を用いたビジュアルインエラリアルオドメトリを適用し、動的で屋外の環境においても、強固でリアルタイムな3次元再構成と位置特定を実現。
• マルチベースラインステレオと意味的セグメンテーション技術（例：ディープラーニングに基づく）を用い、RGBおよび深度データにおいて、トップイアリやバラのブッシュなどの植物オブジェクトを検出・分類。
• 幾何学的モデリングと専門家の剪定知識を統合し、対象形状と植物変形ダイナミクスに基づいて最適なカットパスとツール軌道を決定。
• 植物の柔軟性と風による運動を考慮したサーボ制御戦略を採用し、視覚および力センシングからのリアルタイムフィードバックを活用して、剪定中の精度を維持。

実験結果

リサーチクエスチョン

• RQ1 構造的でない、動的で屋外の庭園環境において、複雑なテクスチャと変動する照明条件下で、どのようにモバイルロボットが安定的かつ正確なナビゲーションと操作を実現できるか。
• RQ2 不規則な植物形状（例：トップイアリやバラのブッシュ）のための信頼性のあるシーン理解と物体検出を実現するため、どのようなマルチセンサーフュージョンおよび3次元再構成技術が必要か。
• RQ3 屋外環境の課題（直射日光、影、風による振動など）に対応するため、どのようにビジュアルインエラリアルSLAMとリアルタイム深度推定を適応可能にできるか。
• RQ4 ロボットアームが、柔軟性があり変形しやすい植物構造に対して、安全性と効率性を保ちながら、正確かつ適応的な剪定を実行するための制御および計画戦略は何か。
• RQ5 一般消費者向けのロボットプラットフォームに、高度なビジョンおよび制御システムを統合することで、屋外の庭園作業においてエンドツーエンド自動化をどの程度実現できるか。

主な発見

• TrimBot2020プロトタイプは、変動する照明や風の影響を受ける実際の屋外庭園において、自律的ナビゲーションと剪定を成功裏に実行した。特に、複雑なトップイアリやバラのブッシュに対しても有効であった。
• 360°ステレオカメラレシプロにより、強固なビジュアルオドメトリと高密度な3次元再構成が実現され、高密度テクスチャと動的環境でも正確な位置特定が可能であった。
• RGBとグレースケールのステレオペアの統合により、照明が厳しい状況下での性能が向上し、グレースケールカメラが直射日光下でも安定した深度推定を提供した。
• 意味的セグメンテーションと3次元植物モデリングにより、ロボットは剪定対象を特定し、幾何学的および専門的知識に基づいた最適なカットパスを計算可能となった。
• ロボットの台座に設けられたスタビライザーにより、剪定中の振動が顕著に低減され、ロボットアームの動きとツールの位置決め精度が向上した。
• 環境マップ作成から標的剪定までをエンドツーエンド自動化するという、屋外庭園作業における実現可能性が示された。これは、園芸分野における一般消費者向けロボティクス分野における顕著な一歩である。