[論文レビュー] A Deep Learning Driven Algorithmic Pipeline for Autonomous Navigation in Row-Based Crops

Simone Cerrato, Vittorio Mazzia+5 more|arXiv (Cornell University)|Dec 7, 2021

Smart Agriculture and AI被引用数 10

ひとこと要約

本論文では、低価格のセンサと合成データ、ドメインランダマイゼーションを活用して、密集した植生によるGNSSの低下を克服し、低範囲センサのみを用いて畝作の作物における自律走行を実現する、低コストでディープラーニング駆動のアルゴリズムパイプラインを提示する。実世界のテストでは平均絶対誤差（MAE）が0.76 m未満を達成し、季節的変化にわたる頑健で一般化可能な走行を実現しており、大規模な精密農業への応用可能性を示している。

ABSTRACT

Expensive sensors and inefficient algorithmic pipelines significantly affect the overall cost of autonomous machines. However, affordable robotic solutions are essential to practical usage, and their financial impact constitutes a fundamental requirement to employ service robotics in most fields of application. Among all, researchers in the precision agriculture domain strive to devise robust and cost-effective autonomous platforms in order to provide genuinely large-scale competitive solutions. In this article, we present a complete algorithmic pipeline for row-based crops autonomous navigation, specifically designed to cope with low-range sensors and seasonal variations. Firstly, we build on a robust data-driven methodology to generate a viable path for the autonomous machine, covering the full extension of the crop with only the occupancy grid map information of the field. Moreover, our solution leverages on latest advancement of deep learning optimization techniques and synthetic generation of data to provide an affordable solution that efficiently tackles the well-known Global Navigation Satellite System unreliability and degradation due to vegetation growing inside rows. Extensive experimentation and simulations against computer-generated environments and real-world crops demonstrated the robustness and intrinsic generalizability of our methodology that opens the possibility of highly affordable and fully autonomous machines.

研究の動機と目的

• 高価なセンサや複雑なアルゴリズムによる、自律農業ロボットの高コストとスケーラビリティの限界を解消すること。
• 畝作における全季節的生育段階で密集した植生によるGNSS信号の低下を克服すること。
• 低コストで低範囲のセンサのみを用いて、完全に自律走行が可能なパイプラインを開発すること。
• 合成データとドメインランダマイゼーションを活用して、多様な畝作環境への一般化を実現すること。
• 正確な局所化や高精度GNSSに依存を最小限に抑えつつ、完全なフィールドカバレッジを達成すること。

提案手法

• 低範囲センサから得られる占有グリッドマップを用いて、全フィールドカバレッジを確保するグローバルパスを構築する。
• 低コストのRGB-Dカメラを用いて、視覚ベースのローカルパスプランナを実装し、ナビゲーションに向けたセマンティック情報と距離情報を抽出する。
• シミュレーションから実世界へのドメインギャップを埋めるために、合成データとドメインランダマイゼーションを用いてセマンティックセグメンテーションモデルを学習する。
• セマンティックセグメンテーションの出力を用いて比例制御器を設計し、作物畝の中央を走行するようにロボットを操舵する。
• GNSSが利用可能な場合はグローバルパス誘導に、GNSSが不安定な場合は視覚ベースの制御に切り替える。
• 低消費電力ハードウェアへのデプロイメントを考慮し、モデル圧縮と推論効率の最新技術を活用してディープラーニングモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 畝作の作物において、低コストで低範囲のセンサのみを用いて完全に自律走行可能なシステムを構築できるか？
• RQ2 ドメインランダマイゼーションを伴う合成データは、多様な実世界の畝作環境への一般化をどの程度効果的に可能にするか？
• RQ3 密集した植生でGNSS信号が低下する状況において、視覚ベースのナビゲーションはGNSSへの依存をどの程度低減できるか？
• RQ4 異なる生育段階や異なる畝間隔・冠層密度を示す作物種において、本システムの性能はどのように変化するか？
• RQ5 提案されたパイプラインは、計算的・経済的負担を最小限に抑えつつ、精密農業への実用的デプロイメントに十分な精度を達成できるか？

主な発見

• 実世界テストにおいて、ブドウ園では平均絶対誤差（MAE）が0.204 m、ピーチ畝では0.659 mを記録し、それぞれ均差二乗誤差（RMSE）は0.246 mおよび0.755 mであった。
• ブドウ園では3回のテストで平均誤差が0.3 m未満であり、2.8 mの狭い畝間スペースでも高い精度を示した。
• ピーチ畝（4.5 m畝間）ではやや性能が劣ったが、これは畝幅の増大と視覚的ヒントの減少によるものであり、依然として運用上の許容範囲内に収まった。
• 季節的変化に伴う植生密度の変化に対しても、一貫した性能を維持しており、季節的変動に対する頑健性を示した。
• すべてのテストで同一のハードウェアとソフトウェアを用いて実施されたため、実世界環境下でのパイプラインの信頼性と再現性が確認された。
• 平均テスト時間は約25分、最大速度は0.5 m/sであり、現実の農業作業における実用的妥当性を示した。