[論文レビュー] Vision based Crop Row Navigation under Varying Field Conditions in Arable Fields

Rajitha de Silva, Grzegorz Cielniak+1 more|arXiv (Cornell University)|Sep 28, 2022

Smart Agriculture and AI被引用数 1

ひとこと要約

本論文では、ハスキー・ロボットに搭載されたフロントカメラからのRGB画像を用いた、深層学習に基づく作物縦列検出アルゴリズムを提示している。本手法により、多様な畑の環境下でも頑健なビジョンサーボイングナビゲーションが可能となり、色ベースのベースライン手法に対して37.66%の性能向上を達成した。また、作物縦列の終端を正確に検出することで、ヘッドランド方向への自律的退出を実現し、シミュレーション環境下で最小限の進行方向および位置オフセットを達成した。

ABSTRACT

Accurate crop row detection is often challenged by the varying field conditions present in real-world arable fields. Traditional colour based segmentation is unable to cater for all such variations. The lack of comprehensive datasets in agricultural environments limits the researchers from developing robust segmentation models to detect crop rows. We present a dataset for crop row detection with 11 field variations from Sugar Beet and Maize crops. We also present a novel crop row detection algorithm for visual servoing in crop row fields. Our algorithm can detect crop rows against varying field conditions such as curved crop rows, weed presence, discontinuities, growth stages, tramlines, shadows and light levels. Our method only uses RGB images from a front-mounted camera on a Husky robot to predict crop rows. Our method outperformed the classic colour based crop row detection baseline. Dense weed presence within inter-row space and discontinuities in crop rows were the most challenging field conditions for our crop row detection algorithm. Our method can detect the end of the crop row and navigate the robot towards the headland area when it reaches the end of the crop row.

研究の動機と目的

• 実世界の畝畑における自律ナビゲーションを実現する、頑健で低コストなビジョンベースの作物縦列検出システムの開発。
• 畝畑における雑草の存在、途切れ、影、光量の変動といった課題に取り組む。
• RTK-GPS や LiDAR といった高価なセンサに依存せず、RGBカメラ入力のみで運用可能な手法の実現。
• 作物縦列内でのロボットの整合性を維持し、縦列終端で安全に退出できるようにするビジョンサーボイングコントローラーの設計。
• 今後の研究のための包括的データセット（CRDLDv2.1）を構築・公開し、シュガービートおよびミルクシードの作物からなる11の畝畑のバリエーションを含む。

提案手法

• CRDLDv2.1データセットを用いて、U-Netベースの深層学習モデルを学習させ、RGB画像から正確な作物縦列セグメンテーションマスクを生成する。
• 独自の作物縦列走査アルゴリズムを考案。セグメンテーションマスクを解析し、ピクセル強度勾配と空間的分布を用いて作物縦列の中央線を検出する。
• リアルタイムの画像フィードバックを用いて、ロボットのステアリングを調整するビジョンサーボイングコントローラーを採用。角度的および位置的ずれを最小限に抑えることで、作物縦列内での整合性を維持する。
• 縦列終端検出器（EOR検出器）が作物縦列の終了を検知した際に、比例制御戦略を用いてヘッドランド方向にロボットを誘導するための退出マニューバーをトリガーする。
• EOR検出は、作物縦列の連続性の低下とセグメンテーションマスクからの視覚的手がかりに基づく。変動する視野角（FOV）カメラを用いずに、早期検出が可能である。
• 制御された条件下で合成された作物縦列を用いたシミュレーション環境で、システムの性能と安定性を検証した。

実験結果

リサーチクエスチョン

• RQ1 多様な畝畑環境下において、深層学習ベースの作物縦列検出手法は、従来の色ベースのセグメンテーション手法と比べてどのように差がつくか？
• RQ2 作物縦列検出において最も困難な畝畑環境は何か。また、本手法はそのような条件下でどのように性能を発揮するか？
• RQ3 ビジョンベースのシステムは、追加のハードウェアを用いずに、作物縦列の終端を検出し、安全に退出できるか？
• RQ4 ナビゲーション中にビジョンサーボイングの安定性が、作物縦列検出の正確性にどの程度影響を及えるか？
• RQ5 提案された退出マニューバーは、意図した経路からの最終的な進行方向および位置オフセットをどの程度低減できるか？

主な発見

• 提案手法は、作物縦列検出において平均 ϵ スコア90.25%を達成し、色ベースのベースライン手法に対して37.66%の性能向上を示した。
• 畝間の密集した雑草と作物縦列の途切れが、検出精度に最も影響を与える課題と特定された。
• ビジョンサーボイングコントローラーは安定したナビゲーションを維持し、シミュレーションで140フレームにわたり平均69.76%から85.2%へとスコアが向上した。
• 退出マニューバーは、最大4.55°の進行方向オフセット、最大7.56 cmの位置オフセットで、作物縦列からロボットを安全に退出させた。
• 20回の試行において、平均進行方向オフセットは1.89°、平均位置オフセットは2.74 cmであり、退出実行の高精度性が裏付けられた。
• ビジョンサーボイングコントローラーがロボットを作物縦列内に保つ限り、検出精度が維持され、方向の揺らぎが最小限に抑えられるという、頑健性が確認された。