[論文レビュー] A systematic review of the use of Deep Learning in Satellite Imagery for Agriculture

Brandon Victor, Zhen He+1 more|arXiv (Cornell University)|Oct 3, 2022

Smart Agriculture and AI被引用数 9

ひとこと要約

本システマティックレビューでは、農業分野における衛星画像における深層学習に関する193件の研究を分析し、畳み込みニューラルネットワーク（CNN）が、作物セグメンテーションや収量予測などのタスクにおいて、従来の機械学習手法を常に上回ることを特定した。広がりを見せつつあるが、土壌の健康状態、植物生理、作物被害といった分野にはベンチマークデータセットが不足しており、再現性や手法比較を制限している。

ABSTRACT

Agricultural research is essential for increasing food production to meet the requirements of an increasing population in the coming decades. Recently, satellite technology has been improving rapidly and deep learning has seen much success in generic computer vision tasks and many application areas which presents an important opportunity to improve analysis of agricultural land. Here we present a systematic review of 150 studies to find the current uses of deep learning on satellite imagery for agricultural research. Although we identify 5 categories of agricultural monitoring tasks, the majority of the research interest is in crop segmentation and yield prediction. We found that, when used, modern deep learning methods consistently outperformed traditional machine learning across most tasks; the only exception was that Long Short-Term Memory (LSTM) Recurrent Neural Networks did not consistently outperform Random Forests (RF) for yield prediction. The reviewed studies have largely adopted methodologies from generic computer vision, except for one major omission: benchmark datasets are not utilised to evaluate models across studies, making it difficult to compare results. Additionally, some studies have specifically utilised the extra spectral resolution available in satellite imagery, but other divergent properties of satellite images - such as the hugely different scales of spatial patterns - are not being taken advantage of in the reviewed studies.

研究の動機と目的

• 深層学習が農業的文脈における衛星画像にどのように応用されているかを特定・分類すること。
• 畳み込みニューラルネットワーク（CNN）、LSTM、トランスフォーマーなどの深層学習モデルの性能を、作物分類、収量予測、土壌・植物の健康モニタリングなどの農業的タスクにおいて、従来の機械学習手法（例：SVM、ランダムフォレスト）と比較すること。
• 衛星画像を用いた農業分野の深層学習研究における、ベンチマーク評価、データの可用性、再現性の現状を評価すること。
• 研究においてあまり活用されていない衛星データの特徴（例：スペクトル分解能、時間的連続性、位置情報）を特定すること。
• 特に、代表されていない農業的タスク向けに公的ベンチマークデータセットの開発を含む、今後の研究方向性を提言すること。

提案手法

• Web of Scienceを用いて、深層学習、衛星画像、農業の各分野を対象に、事前に定義された検索キーワードを用いてシステマティックレビューを実施した。
• 深層学習、衛星画像、農業的応用の交差分野に位置する193件の研究を同定した。
• 衛星画像に応用された深層学習手法の分類体系を構築し、空間的、スペクトル的、時間的モデリングアプローチの違いを明確にした。
• 農業的タスクを、土地利用／土地被覆（LULC）、作物セグメンテーション、収量予測、土壌／植物の健康状態モニタリングなどのカテゴリに分類した。
• モデルアーキテクチャの使用傾向（例：CNN、LSTM、ビジョントランスフォーマー）と、タスクごとの性能比較を分析した。
• マルチソースデータ（例：Sentinel-1とSentinel-2）の使用状況と、モデル設計における地理空間的およびスペクトル的情報の統合状況を評価した。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワーク（CNN）やトランスフォーマーを含む深層学習モデルは、農業的タスクにおける衛星画像にどのように応用されているか？
• RQ2 現代の深層学習モデルは、SVM やランダムフォレストなどの従来の機械学習手法と比較して、農業分野の衛星画像解析においてどの程度の性能を示しているか？
• RQ3 現在の研究では、公的ベンチマークデータセットはどの程度使用されており、再現性や手法比較にどのような影響を与えているか？
• RQ4 スペクトル分解能、時間的連続性、位置情報といった衛星画像の特徴のうち、現在の深層学習応用でどれほど活用されていないか？
• RQ5 衛星画像を用いた農業分野への深層学習の応用における主な研究ギャップと今後の研究方向性は何か？

主な発見

• 畳み込みニューラルネットワーク（CNN）は、作物セグメンテーションや収量予測を含む、すべての農業的タスクにおいて、SVM やランダムフォレスト、MLP などの従来の機械学習手法を一貫して上回る性能を示した。
• 長短記憶（LSTM）モデルは、特に収量予測タスクにおいて、従来の手法と比較して一貫した性能向上を示さなかった。
• ビジョントランスフォーマー（ViT）やカスタムアテンションベースのモデルは少数の研究でのみ使用されており、CNN よりも一貫した性能向上を示さなかった。これは、訓練データが不十分である可能性がある。
• 作物セグメンテーションと郡レベルの収量予測のみが、ベンチマークデータセット作成に適した国全体の公的データソースを備えており、作物セグメンテーションは唯一、既存のベンチマークデータセットを有するタスクであった。
• 高分解能、マルチスペクトル、時間的に一貫した衛星データの存在にもかかわらず、多くの研究が、ピクセルレベルの分析を越えてスペクトル的・時間的・地理空間的特徴を活用していない。
• 土壌の健康状態、植物生理、作物被害の分野では、研究間での直接的な手法比較が著しく不足しており、標準化された評価フレームワークの必要性が顕著に示された。