[論文レビュー] Potato Crop Stress Identification in Aerial Images using Deep Learning-based Object Detection

Sujata Butte, Aleksandar Vakanski+3 more|arXiv (Cornell University)|Jun 14, 2021

Smart Agriculture and AI参考文献 82被引用数 64

ひとこと要約

本論文では、低レベルのセマンティックな密な特徴を特徴マップピラミッドネットワークに統合することで、低高度の航空RGBおよびマルチスペクトル画像における干ばつストレスを受けるRusset Burbankポテトの生育状態を特定する深層学習ベースのオブジェクト検出モデル、Retina-UNet-Agを提案する。この手法はテスト画像で平均Diceスコア係数0.74を達成し、現実の畑環境下でも個体レベルでの植物ストレス検出において高い性能を示した。

ABSTRACT

Recent research on the application of remote sensing and deep learning-based analysis in precision agriculture demonstrated a potential for improved crop management and reduced environmental impacts of agricultural production. Despite the promising results, the practical relevance of these technologies for field deployment requires novel algorithms that are customized for analysis of agricultural images and robust to implementation on natural field imagery. The paper presents an approach for analyzing aerial images of a potato (Solanum tuberosum L.) crop using deep neural networks. The main objective is to demonstrate automated spatial recognition of healthy vs. stressed crop at a plant level. Specifically, we examine premature plant senescence resulting in drought stress on Russet Burbank potato plants. We propose a novel deep learning (DL) model for detecting crop stress, named Retina-UNet-Ag. The proposed architecture is a variant of Retina-UNet and includes connections from low-level semantic representation maps to the feature pyramid network. The paper also introduces a dataset of aerial field images acquired with a Parrot Sequoia camera. The dataset includes manually annotated bounding boxes of healthy and stressed plant regions. Experimental validation demonstrated the ability for distinguishing healthy and stressed plants in field images, achieving an average dice score coefficient (DSC) of 0.74. A comparison to related state-of-the-art DL models for object detection revealed that the presented approach is effective for this task. The proposed method is conducive toward the assessment and recognition of potato crop stress in aerial field images collected under natural conditions.

研究の動機と目的

• 実際の空中画像におけるストレスを受けるポテトの生育状態を正確に検出し、局所化できる深層学習モデルの開発。
• 植物の重なり、変動する照明、密集した葉被覆における明確でない境界といった、畑画像解析の課題への対応。
• ポテト作物のストレス検出を目的とした、ラベル付き空中画像から構成される公開データセットの作成とリリース。
• 従来の画像分類を超えて、農業分野におけるオブジェクト検出モデルの一般化性能とロバストネスの向上。

提案手法

• 特徴マップピラミッドネットワーク（FPN）に低レベルのセマンティックな密な特徴マップを統合することで、空間的局所化を向上させた、Retina-UNetの変種、Retina-UNet-Agを提案。
• パラロット・セイウオリアマルチスペクトルドローンを用いて、ポテト畑上空3メートルの高度で高解像度のRGBおよびマルチスペクトル画像を収集。
• 重なった植物や混合葉状態を考慮し、健全およびストレスを受ける植物に対してインスタンスセグメンテーション風のバウンディングボックスラベルを付与。
• RGBとスペクトルバンドの合成（R-G-NIR、R-NIR-RE、R-G-RE）を組み合わせて学習し、画像タイプごとの性能を評価。
• ImageNetで事前学習されたバックボーン（例：ResNet）を用いたトランスファーラーニングを実施し、カスタムポテトデータセット上でファインチューニング。
• 標準的なオブジェクト検出指標（Diceスコア係数（DSC）、オーバーラップ率（IoU）、精度、再現率）を用いて性能を評価。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのオブジェクト検出モデルは、現実の空中畑画像において、干ばつストレスを受けた個体レベルのポテトの生育状態を正確に同定・局所化できるか？
• RQ2 特徴マップピラミッドネットワークに低レベルのセマンティック特徴を統合することで、複雑な畑シーンにおける植物ストレス検出性能がどのように向上するか？
• RQ3 同じドローンプラットフォームから撮影された高解像度RGB画像と低解像度マルチスペクトル画像の間で、モデルの性能はどのように変化するか？
• RQ4 重なった植物、変動する照明、健全・ストレス混合の葉が混在する自然な畑環境において、提案モデルの一般化性能はどの程度か？
• RQ5 明確な視覚的境界が欠如している状況下でも、ストレスを受けるポテトと健全なポテトを高精度で区別できるか？

主な発見

• Retina-UNet-Agはテストセットで平均Diceスコア係数（DSC）0.74を達成し、健全な植物では0.723、ストレスを受ける植物では0.756を記録した。
• マスクR-CNN、RetinaNet、ファステアR-CNN、YOLO v3という4つの最先端のオブジェクト検出モデルを上回り、特にストレスを受ける植物の再現率と精度において優れた性能を示した。
• マルチスペクトル画像ではRGB画像より性能が低く、R-G-NIRではDSCが0.536、R-NIR-REでは0.588であった。これは解像度が低い（960×1280対3456×4608ピクセル）ことが要因とされた。
• 重なった植物や混合葉状態であっても、ほぼすべてのテスト画像でストレスを受ける植物を正しく検出し、局所化できた。
• 本研究では、100枚以上のラベル付き空中画像から構成される、干ばつストレス下のポテト作物を対象とした新規データセットを公開した。今後の研究を支援する。
• 低レベルのセマンティック特徴を組み込むことで、境界が不明瞭な複雑な農業シーンにおける検出のロバストネスが向上することを実証した。