[論文レビュー] Agricultural Plant Cataloging and Establishment of a Data Framework from UAV-based Crop Images by Computer Vision

Maurice Günder, Facundo Ramón Ispizua Yamati+4 more|arXiv (Cornell University)|Jan 8, 2022

Smart Agriculture and AI参考文献 38被引用数 29

ひとこと要約

本論文は、ドローン搭載の作物画像から個々の植物の時間的・空間的カタログ作成を自動化するコンピュータビジョンベースのワークフローを提示する。この手法により、大規模な時空間解析が可能となる。RGB画像処理、ピーク検出、幾何的アライメントを活用することで、深層学習と同等の精度を達成しつつ、手動による作業を最小限に抑え、病害の重症度分類などの後続タスクを支援する。

ABSTRACT

UAV-based image retrieval in modern agriculture enables gathering large amounts of spatially referenced crop image data. In large-scale experiments, however, UAV images suffer from containing a multitudinous amount of crops in a complex canopy architecture. Especially for the observation of temporal effects, this complicates the recognition of individual plants over several images and the extraction of relevant information tremendously. In this work, we present a hands-on workflow for the automatized temporal and spatial identification and individualization of crop images from UAVs abbreviated as "cataloging" based on comprehensible computer vision methods. We evaluate the workflow on two real-world datasets. One dataset is recorded for observation of Cercospora leaf spot - a fungal disease - in sugar beet over an entire growing cycle. The other one deals with harvest prediction of cauliflower plants. The plant catalog is utilized for the extraction of single plant images seen over multiple time points. This gathers large-scale spatio-temporal image dataset that in turn can be applied to train further machine learning models including various data layers. The presented approach improves analysis and interpretation of UAV data in agriculture significantly. By validation with some reference data, our method shows an accuracy that is similar to more complex deep learning-based recognition techniques. Our workflow is able to automatize plant cataloging and training image extraction, especially for large datasets.

研究の動機と目的

• 密集した作物被覆下における複数のドローン画像にわたる個々の植物の同定と追跡の課題に対処すること。
• 高価なセンサーや手動アノテーションに依存しない、完全に自動化されスケーラブルな植物カタログ作成ワークフローの開発。
• 精密農業における機械学習モデルの学習に向けた大規模で時間分解能のある画像データセットの作成を可能にすること。
• 一貫性があり地理的に参照された植物データを提供することで、病害の進行解析や形態的特徴抽出などの応用を支援すること。
• シューベットやブロッコリーを含む多様な作物種において、現実の畑環境下でも耐障害性を示すことを実証すること。

提案手法

• 植物と土壌のセグメンテーションを用いて、時系列的・多スペクトルのドローン画像を処理し、個々の植物を分離する。
• RGB画像における植物中心の局所化を向上させるために、適応的ガウスノイズフィルタを適用する。
• 空間的近接性と時間的一致性を用いて、複数の時間点における検出された植物ピークをグループ化し、時間的追跡を実現する。
• グランドコントロールポイント（GCP）を統合して地図参照を実施し、グローバル座標（WGS84）において1cm未塔の高精度を確保する。
• 播種ライン検出と幾何的アライメントを活用して、植物カタログ作成の精度を向上させ、誤検出を低減する。
• 個々の植物の時系列画像パッチを抽出し、後続の解析およびモデル学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習や専用センサーを必要としないコンピュータビジョンベースのワークフローは、ドローンRGB画像からの正確な自動植物カタログ作成を達成できるか？
• RQ2 本手法は、複雑で密集した作物被覆下において、複数の時間点にわたる個々の植物の追跡にどの程度効果的か？
• RQ3 得られた植物カタログは、病害の重症度分類などの後続の機械学習タスクをどの程度支援できるか？
• RQ4 精度とスケーラビリティの観点から、本手法はより複雑な深層学習ベースの手法と比較してどの程度優れているか？
• RQ5 本フレームワークは、雑草が多く生えている場や閉鎖された被覆を持つ場においても、異なる作物種や畑環境に一般化可能か？

主な発見

• 提案されたワークフローは、複雑な深層学習手法と同等の植物検出精度を達成しており、大規模応用の実現可能性を示している。
• 本手法は、複数回のドローン飛行にわたる一貫性のある時間分解能のある画像パッチの抽出を成功裏に実現した。
• 抽出された植物画像を用いて訓練したResNet-50モデルは、混同行列を示し、90.7%の予測が真の病害重症度クラス1（完全に健康）に正しく割り当てられた。
• 本フレームワークは高スルーレットなデータ生成を可能とし、強固な機械学習モデルの学習に向けた大規模でアノテーション済みデータセットの作成を可能にした。
• ピーク検出にRGB画像のみを用いることで、信頼性の高い植物カタログ作成が可能であることが実証され、ハードウェアおよびデータ取得の障壁が低下した。
• 本ワークフローは非常に自動化可能かつスケーラブルであり、複数の畑やサブ領域において並列処理が可能であることが、多数の小さな畝を持つシューベットデータセットで実証された。