[論文レビュー] Early- and in-season crop type mapping without current-year ground truth: generating labels from historical information via a topology-based approach

Chenxi Lin, Liheng Zhong+4 more|arXiv (Cornell University)|Oct 19, 2021

Remote Sensing in Agriculture被引用数 9

ひとこと要約

本論文は、現在年の地上走査データがなくても、歴史的データからの年次間スペクトル特徴空間の位相的構造を転送することで、早期および生長期の作物種別ラベルを生成する位相ベースの手法を提案する。Landsat-8およびSentinel-2データを用いて、この手法はトウモロコシでF1スコア0.887、大豆で0.851を達成し、生育の穂出し・花芽形成段階でさえも達成可能であり、最小限のラベルコストでタイムリーかつ高精度の作物マッピングを実現する。

ABSTRACT

Land cover classification in remote sensing is often faced with the challenge of limited ground truth. Incorporating historical information has the potential to significantly lower the expensive cost associated with collecting ground truth and, more importantly, enable early- and in-season mapping that is helpful to many pre-harvest decisions. In this study, we propose a new approach that can effectively transfer knowledge about the topology (i.e. relative position) of different crop types in the spectral feature space (e.g. the histogram of SWIR1 vs RDEG1 bands) to generate labels, thereby support crop classification in a different year. Importantly, our approach does not attempt to transfer classification decision boundaries that are susceptible to inter-annual variations of weather and management, but relies on the more robust and shift-invariant topology information. We tested this approach for mapping corn/soybeans in the US Midwest and paddy rice/corn/soybeans in Northeast China using Landsat-8 and Sentinel-2 data. Results show that our approach automatically generates high-quality labels for crops in the target year immediately after each image becomes available. Based on these generated labels from our approach, the subsequent crop type mapping using a random forest classifier reach the F1 score as high as 0.887 for corn as early as the silking stage and 0.851 for soybean as early as the flowering stage and the overall accuracy of 0.873 in Iowa. In Northeast China, F1 scores of paddy rice, corn and soybeans and the overall accuracy can exceed 0.85 two and half months ahead of harvest. Overall, these results highlight unique advantages of our approach in transferring historical knowledge and maximizing the timeliness of crop maps. Our approach supports a general paradigm shift towards learning transferrable and generalizable knowledge to facilitate land cover classification.

研究の動機と目的

• リモートセンシングの作物分類において、地上走査データが限られるという課題に対処すること。
• 現在年の現地データに依存せずに、早期および生長期の作物種別マッピングを可能にすること。
• 年次間で変化しにくい、スペクトル特徴空間内における作物種別の間の位相的関係（例えば、SWIR1対RDEG1バンドのヒストグラムの相対的位置関係）を転送すること。
• 地上走査データ収集のコストと遅延を低減しつつ、高い分類精度を維持すること。
• タイムリーかつ正確な作物マップを提供することで、収穫前の意思決定を支援すること。

提案手法

• 本手法は、スペクトル特徴空間内における作物種別の相対的空間的配置（位相）を同定・転送する。例えば、SWIR1対RDEG1バンドのヒストグラムにおける作物クラスタの相対的位置関係を対象とする。
• 気象や管理方法の変化に左右されやすい固定された意思決定境界ではなく、作物クラスタ間の相対的位置関係といった位相的関係に焦点を当てる。
• 訓練用に、歴史的Landsat-8およびSentinel-2データから、ソース年における位相的特徴を抽出する。
• 抽出された位相的パターンを、ターゲット年における画像取得直後に適用し、地上走査データが不要なまま擬似ラベルを生成する。
• 生成されたラベルを用いてランダムフォレスト分類器を学習させ、リアルタイムでの作物種別マップ作成を実現する。
• 本手法は、アメリカ中西部のトウモロコシ・大豆システムおよび中国東北地方の稲・トウモロコシ・大豆システムで検証された。

実験結果

リサーチクエスチョン

• RQ1 スペクトル特徴空間内の位相的関係は、年次間で信頼性高く転送可能であり、現在年の地上走査データがなくても作物ラベルを生成できるか？
• RQ2 歴史的位相的知識と現在年の画像のみを用いて、どの程度早期に正確な作物種別マッピングが達成可能か？
• RQ3 位相ベースのラベル生成手法は、従来の手法に比べて早期段階の分類性能でどれほど優れているか？
• RQ4 気象や農業管理方法の年次変動に対して、本手法はどの程度頑健か？
• RQ5 アメリカ中西部や中国東北地方のような多様な農業生態地域においても、本手法は高い精度を達成できるか？

主な発見

• アメリカ中西部のトウモロコシおよび大豆において、本手法は穂出し・花芽形成段階でそれぞれF1スコア0.887および0.851を達成し、高品質な擬似ラベルを生成した。
• アイオワ州では、生成されたラベルを用いた作物マップの全体正解率が0.873に達し、最小限のラベルコストで優れた性能を示した。
• 中国東北地方では、稲、トウモロコシ、大豆のF1スコアがいずれも0.85を上回り、収穫の2.5か月も前であった。
• 現在年の地上走査データを一切必要とせず、高い精度を達成した。これは、データ収集コストを顕著に低減したことを示している。
• 位相ベースの転送手法は、気象や管理方法の年次変動に対しても頑健であることが確認された。
• 結果から、リモートセンシングにおける土地被覆分類において、位相は安定的で転送可能な信号である可能性が示された。