[論文レビュー] Deep learning-based Crop Row Detection for Infield Navigation of Agri-Robots

Rajitha de Silva, Grzegorz Cielniak+2 more|arXiv (Cornell University)|Sep 9, 2022

Smart Agriculture and AI被引用数 8

ひとこと要約

本論文では、多様な畑の環境条件下でも耐障害性が高く低コストなナビゲーションを実現するため、RGB画像を用いた深層学習ベースの作物行検出システムを提案する。本手法はU-Netによるセグメンテーションと、新規の中央作物行選択アルゴリズムを組み合わせ、平均1.65°の角度誤差と11.99ピクセルの変位誤差を達成し、ベースラインよりそれぞれ61.5%および76.33%の性能向上を達成しながらも、100%の検出成功率を維持した。

ABSTRACT

Autonomous navigation in agricultural environments is challenged by varying field conditions that arise in arable fields. State-of-the-art solutions for autonomous navigation in such environments require expensive hardware such as RTK-GNSS. This paper presents a robust crop row detection algorithm that withstands such field variations using inexpensive cameras. Existing datasets for crop row detection does not represent all the possible field variations. A dataset of sugar beet images was created representing 11 field variations comprised of multiple grow stages, light levels, varying weed densities, curved crop rows and discontinuous crop rows. The proposed pipeline segments the crop rows using a deep learning-based method and employs the predicted segmentation mask for extraction of the central crop using a novel central crop row selection algorithm. The novel crop row detection algorithm was tested for crop row detection performance and the capability of visual servoing along a crop row. The visual servoing-based navigation was tested on a realistic simulation scenario with the real ground and plant textures. Our algorithm demonstrated robust vision-based crop row detection in challenging field conditions outperforming the baseline.

研究の動機と目的

• 多様な畑環境下でも信頼性高く動作する低コストのビジュアルベースナビゲーションシステムの開発。
• 変動する照明、雑草密度、生育段階、行の途切れなどの要因で失敗する既存の作物行検出手法の限界を克服すること。
• 11種類の畑の変化を反映したビートの画像を含む包括的なデータセットを構築し、耐障害性の高いモデルの学習を実施すること。
• ナビゲーション精度を向上させるために、追従すべき主要な行を特定する新規の中央作物行選択アルゴリズムの設計。
• 実際のシミュレーション環境でのビジュアルサーボ制御によるシステムの検証。

提案手法

• RGB画像から作物行のバイナリセグメンテーションマスクを生成するため、U-Netベースの深層学習モデルを訓練する。
• 中央作物行は、画像高さの20%の位置に定義された領域（ROI）内で候補点を評価する新規のアンカースキャンアルゴリズムを用いて選択する。
• アンカースキャンのROIスケーリング係数は0.2に設定され、式（1）における比の閾値は0.4に設定され、低コントラストまたはノイジーな領域に対しても耐障害性を確保する。
• アルゴリズムはヒストグラムベースの解析を用いてアンカーポイントを検証し、不適切なスキャンは事前に定義された基準点に置き換える。
• 検出された中央作物行を基に、角度誤差と変位誤差に基づいてステアリング指令を生成するビジュアルサーボ制御を実装する。
• 実際の地面および植物のテクスチャを再現したリアルなシミュレーション環境で、ナビゲーション性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 変動する照明、雑草密度、生育段階などの多様な畑環境下でも、深層学習ベースの作物行検出システムが耐障害性を発揮できるか。
• RQ2 ノイズや行の途切れが生じる状況下でも、提案された中央作物行選択アルゴリズムが主要な行を効果的に特定できるか。
• RQ3 角度誤差および変位誤差の観点から、ベースライン手法に比べてナビゲーション精度がどの程度向上するか。
• RQ4 ビジュアルサーボコントローラーは、リアルなシミュレーション環境でロボットの軌道を安定化できるか。
• RQ5 特に生育初期段階や高い行の途切れが生じる状況下でも、システムの性能はどの程度維持されるか。

主な発見

• 提案手法は、作物行検出において平均1.65°の角度誤差と平均11.99ピクセルの変位誤差を達成し、ベースラインを著しく上回った。
• 検出成功率100%を維持しながら、ベースラインに比べて角度誤差を61.5%、変位誤差を76.33%改善した。
• シミュレーションにおけるビジュアルサーボナビゲーションでは、平均2.15°の角度誤差と平均3.65cmの変位誤差を達成し、平均23フレームで安定化した。
• 検出において最も挑戦的だった条件は、生育初期段階および高い行の途切れの状態であった。
• U-Netベースのセグメンテーションモデルは、曲がりくねった行や断片的な行を含む11種類の畑の変化に対しても、優れた一般化性能を示した。
• アンカースキャンアルゴリズムは、20%の高さROIをスキャンし、0.4の閾値を用いることで、低コントラスト状況下でも中央作物行を効果的に特定した。