[論文レビュー] Detection and Prediction of Nutrient Deficiency Stress using Longitudinal Aerial Imagery

Saba Dadsetan, Gisele Rose+2 more|arXiv (Cornell University)|Dec 17, 2020

Smart Agriculture and AI参考文献 58被引用数 6

ひとこと要約

本稿では、縦断的高分解能航空写真を活用して農業用地における栄養欠乏ストレス（NDS）を検出・予測する空間時系列ディープラーニングモデルを提案する。U-Netと畳み込みLSTMを組み合わせたモデルは、検出において0.53のIOUスコアを達成し、3週間先までの予測においても0.47～0.51のIOUスコアを維持する。これにより、収量の向上と環境への影響低減を実現する早期で正確な対応が可能になる。

ABSTRACT

Early, precise detection of nutrient deficiency stress (NDS) has key economic as well as environmental impact; precision application of chemicals in place of blanket application reduces operational costs for the growers while reducing the amount of chemicals which may enter the environment unnecessarily. Furthermore, earlier treatment reduces the amount of loss and therefore boosts crop production during a given season. With this in mind, we collect sequences of high-resolution aerial imagery and construct semantic segmentation models to detect and predict NDS across the field. Our work sits at the intersection of agriculture, remote sensing, and modern computer vision and deep learning. First, we establish a baseline for full-field detection of NDS and quantify the impact of pretraining, backbone architecture, input representation, and sampling strategy. We then quantify the amount of information available at different points in the season by building a single-timestamp model based on a UNet. Next, we construct our proposed spatiotemporal architecture, which combines a UNet with a convolutional LSTM layer, to accurately detect regions of the field showing NDS; this approach has an impressive IOU score of 0.53. Finally, we show that this architecture can be trained to predict regions of the field which are expected to show NDS in a later flight -- potentially more than three weeks in the future -- maintaining an IOU score of 0.47-0.51 depending on how far in advance the prediction is made. We will also release a dataset which we believe will benefit the computer vision, remote sensing, as well as agriculture fields. This work contributes to the recent developments in deep learning for remote sensing and agriculture, while addressing a key social challenge with implications for economics and sustainability.

研究の動機と目的

• 収量の損失を低減し、化学薬品の過剰使用を防ぐために、農業用地における栄養欠乏ストレス（NDS）の早期かつ正確な検出を可能にすること。
• 連続する航空写真のシーケンスを活用する空間時系列ディープラーニングモデルを構築し、NDSの検出と予測を改善すること。
• アーキテクチャの選択、入力表現、サンプリング戦略の影響をNDS検出性能に与える影響を定量化すること。
• 時間的モデリングが検出の向上に加え、3週間先までの将来のNDSを信頼性高く予測可能であることを示すこと。
• 研究の進展を促進するため、高分解能の航空写真データセットを公開すること。

提案手法

• 本研究では、単一の航空写真を用いたベースラインNDS検出のためのU-Netベースのセマンティックセグメンテーションモデルを構築する。
• 微調整、バックボーンアーキテクチャ、入力表現（例：9チャネルのRGB+NIR）およびサンプリング戦略が検出性能に与える影響を評価する。
• 連続するフライト間の時間的ダイナミクスをモデル化するため、U-Netと畳み込みLSTMを組み合わせた新規の空間時系列アーキテクチャを提案する。
• モデルは、過去3枚の画像（It−3, It−2, It−1）のシーケンスを用いて、現在のNDSマスク（Pt）を予測するように学習させ、共有重みと非共有重みの両方のバージョンをテストする。
• 同じアーキテクチャを予測タスクに再利用するため、より前の画像シーケンス（例：It−4, It−3, It−2）を用いて将来のフライト（Pt）におけるNDSを予測するように学習させる。
• 性能評価には交差領域（IOU）、F1スコア、ファーザル＋Dice損失を用い、アーキテクチャ的要因に関するアブレーションスタディも実施する。

実験結果

リサーチクエスチョン

• RQ1 空間時系列ディープラーニングモデルは、単一画像モデルと比較して、栄養欠乏ストレス検出の正確性を向上させることができるか？
• RQ2 縦断的航空写真を組み込むことで、季節的変化や照明の変動と区別できるようになり、NDS検出能力がどの程度向上するか？
• RQ3 同じモデルアーキテクチャで将来のNDS発生を予測可能か？また、どの程度の期間先まで信頼性のある予測が可能か？
• RQ4 共有重み対非共有重み、またはLSTM前の層の有無といったアーキテクチャ的選択が、検出および予測性能に与える影響はいかほどか？
• RQ5 RGB+NIRなどの異なる入力表現やサンプリング戦略が、モデルの頑健性と正確性に与える寄与度はどの程度か？

主な発見

• 提案された空間時系列モデルは、共有重みを用いた場合0.57、非共有重みを用いた場合0.53のIOUスコアを達成し、単一画像ベースラインを著しく上回った。
• 予測タスクでは、共有重みを用いた場合、1フリート（約1週間）先予測で0.53、2フリート（約2週間）先予測で0.47のIOUスコアを達成した。
• 2フリート先の予測性能（IOU 0.47）は、最良の単一画像検出モデルのIOU（0.30）を上回っており、時間的モデリングの価値を示している。
• 空間時系列モデルにおける共有重みの使用により、モデルサイズが削減されながらも性能に影響を及ぼさなかったため、より実用的・展開可能となった。
• アブレーションスタディの結果、U-Netと畳み込みLSTMの組み合わせに適切な入力表現（9チャネル：RGB+NIR）を組み合わせた場合が最も優れた結果をもたらした。
• 本研究では、高分解能（10 cm/ピixe）の縦断的航空写真データセットを公開した。このデータセットは、農業分野におけるリモートセンシングおよびコンピュータビジョン分野の研究を促進すると期待される。