[論文レビュー] From Plants to Landmarks: Time-invariant Plant Localization that uses Deep Pose Regression in Agricultural Fields

Florian Kraemer, Alexander Schaefer+3 more|arXiv (Cornell University)|Sep 14, 2017

Smart Agriculture and AI参考文献 11被引用数 12

ひとこと要約

本論文は、RGBおよびNIR画像から茎発生点（SEP）の位置を回帰することで、農業用地における時間不変の植物局所化を実現する深層学習ベースの手法を提案する。完全畳み込みニューラルネットワーク（FCNN）を用い、安定的かつ変化のないSEPをランドマークとして活用することで、成長段階や環境条件の変化に関係なくセンチメートルレベルの精度を達成し、従来のGNSSおよび視覚特徴ベースの手法を上回る性能を示す。

ABSTRACT

Agricultural robots are expected to increase yields in a sustainable way and automate precision tasks, such as weeding and plant monitoring. At the same time, they move in a continuously changing, semi-structured field environment, in which features can hardly be found and reproduced at a later time. Challenges for Lidar and visual detection systems stem from the fact that plants can be very small, overlapping and have a steadily changing appearance. Therefore, a popular way to localize vehicles with high accuracy is based on ex- pensive global navigation satellite systems and not on natural landmarks. The contribution of this work is a novel image- based plant localization technique that uses the time-invariant stem emerging point as a reference. Our approach is based on a fully convolutional neural network that learns landmark localization from RGB and NIR image input in an end-to-end manner. The network performs pose regression to generate a plant location likelihood map. Our approach allows us to cope with visual variances of plants both for different species and different growth stages. We achieve high localization accuracies as shown in detailed evaluations of a sugar beet cultivation phase. In experiments with our BoniRob we demonstrate that detections can be robustly reproduced with centimeter accuracy.

研究の動機と目的

• 高精度GNSSに依存しない農業ロボットのための、自然ランドマークを用いた耐久的かつ長期的な局所化を実現すること。
• 成長段階、品種の違い、重なりのある植生による視覚的変動の課題に対処すること。
• ロボットマッピングおよびナビゲーションのための信頼性のあるランドマークとして、時間的に不変な植物特徴（特に茎発生点：SEP）を特定・局所化すること。
• 植物の外観や現地状況の変化にもかかわらず、長期間にわたり高い局所化精度を維持する手法を開発すること。
• 農業ロボット分野における植物局所化研究を支援するため、公開可能なデータセットおよび評価ツールを提供すること。

提案手法

• RGBおよび近赤外（NIR）画像ペアを用いて、完全畳み込みニューラルネットワーク（FCNN）をエンドツーエンドに訓練し、SEP検出のためのポーズ尤度マップを予測する。
• FCNNは、画像全体にわたるSEP存在の確率を示すヒートマップを予測することで、SEPの局所化を実現する回帰を実行する。
• 予測されたSEP位置と真値との距離を最小化する損失関数を用いてネットワークを訓練し、空間的な不確実性をモデル化するための尤度減衰パラメータを導入する。
• 順次的なマップ間のランドマークマッチングは、定義された受容範囲内にある後続のマップ内の最も近いSEPをユークリッド距離を指標として特定することで実施する。
• 4日および28日間の時間間隔を含む、地上ロボット（BoniRob）からの地理的参照付き画像を用いて、時間経過に伴う局所化の頑健性を評価する。
• 評価には、精度、再現率、平均距離誤差の指標を用い、異なる成長段階および雑草密度における結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 顕著な視覚的変化が時間経過で生じる農業用地において、深層学習ベースの手法が安定的かつ時間不変の植物局所化を達成できるか？
• RQ2 提案手法であるFCNNベースのポーズ回帰法は、異なる成長段階において、ベースライン手法と比較して精度、再現率、局所化誤差の観点でどのように差をつけるか？
• RQ3 実際の農業環境下で、長期間（例：28日間）にわたりSEPランドマークを信頼性を持ってマッチングできるか、その範囲はどの程度か？
• RQ4 NIR画像の導入により、照明条件や植物外観の変化に伴うSEP検出の頑健性がどの程度向上するか？
• RQ5 提案手法は、高精度GNSSシステムに依存せずに自律ロボットナビゲーションを可能にするか？

主な発見

• 提案手法のFCNNベースの手法は、4日間の期間で平均局所化誤差18.41 mm、28日間の期間で20.8 mmを達成し、高い精度と頑健性を示した。
• 4日間の期間において、精度は87.5％、再現率は96.2％を達成し、345個中302個のSEPが正常にマッチングされた。
• 28日間の期間においても、精度92.8％、再現率88.3％を維持しており、植物の成長や外観の変化にもかかわらず、強力な長期的整合性を示した。
• 重なりのある植物や異なる雑草密度の下でも、SEPsの検出においてベースライン手法を上回る性能を示した。
• 評価結果から、植物の外観が著しく変化しても、SEPはロボットマッピングおよび局所化のための匿名ランドマークとして信頼性高く利用可能であることが示された。
• データセットおよび評価ツールは、http://plantcentroids.cs.uni-freiburg.de で公開されており、再現性およびさらなる研究を支援する。