[論文レビュー] Early Classification for Agricultural Monitoring from Satellite Time Series

Marc Rußwurm, Romain Tavenard+2 more|arXiv (Cornell University)|Aug 27, 2019

Remote Sensing in Agriculture参考文献 17被引用数 16

ひとこと要約

本稿では、観測されたスペクトル信号に基づき、時系列データの処理をいつ停止するかを動的に決定する、衛星を用いた農業モニタリングのエンド・ツー・エンドで学習可能な早期分類メカニズムを提案する。この手法は、隠れ表現から導出される学習可能な停止確率を持つ再帰的ニューラルネットワークを用い、生育期間の終了以前に正確な作物種別分類を達成する。停止時刻は、播種や収穫といった生育期間のイベントと相関している。

ABSTRACT

In this work, we introduce a recently developed early classification mechanism to satellite-based agricultural monitoring. It augments existing classification models by an additional stopping probability based on the previously seen information. This mechanism is end-to-end trainable and derives its stopping decision solely from the observed satellite data. We show results on field parcels in central Europe where sufficient ground truth data is available for an empiric evaluation of the results with local phenological information obtained from authorities. We observe that the recurrent neural network outfitted with this early classification mechanism was able to distinguish the many of the crop types before the end of the vegetative period. Further, we associated these stopping times with evaluated ground truth information and saw that the times of classification were related to characteristic events of the observed plants' phenology.

研究の動機と目的

• 地域特有の専門知識に依存せずに、衛星時系列データから早期かつ正確に作物種別を分類することを可能にすること。
• 十分な情報が観測された時点で自信を持って分類できるよう、学習可能な停止メカニズムを開発すること。
• 停止時刻が、播種や収穫といった現実の生育期間イベントと相関しているかどうかを評価すること。
• 中央ヨーロッパにおける生育期間の終了以前に、早期分類が実現可能で正確であることを示すこと。

提案手法

• モデルは再帰的ニューラルネットワークを用い、順次的なSentinel-2衛星データを処理し、各時刻で隠れ表現を抽出する。
• 分類ヘッドは各時刻tでクラス確率ŷtを出力するが、別個の停止ヘッドは停止確率ptを出力する。
• 停止確率ptは、隠れ状態htに適用された軽量ネットワークの出力をシグモイド関数でモデル化する。
• 新しい早期報酬損失関数は、ハイパーパrameter αを用いて正確性と早期性のバランスをとることで、分類精度と停止時刻を同時に最適化する。
• 停止時刻tstopは、停止確率分布ptから確率的にサンプリングされ、推論時における確率的推論を可能にする。
• モデルは、地元当局が提供するフィールドパラセルデータと正解ラベル、生育期間のアノテーションを用いてエンド・ツー・エンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、観測データにのみ依存して、衛星時系列データからの作物種別分類に最適なタイミングを自動的に特定できるか？
• RQ2 モデルの停止時刻は、生育期間の開始や収穫といった生物学的に意味のある生育期間イベントと相関しているか？
• RQ3 分類精度と早期性のトレードオフが、異なる作物種別においてモデルのパフォーマンスにどのように影響するか？
• RQ4 作物の生育期間や成長期に関する事前知識が不要な状態で、停止メカニズムをエンド・ツー・エンドで学習できるか？

主な発見

• 早期報酬損失関数のロバスト性を示すために、ハイパーパrameter αの異なる値に対しても、分類精度が安定していた。
• トウモロコシ、ウィンターウィンターウェイト、大麦の多くの作物種別について、生育期間の終了以前に分類が完了した。
• 大麦と草地の中央停止時刻は、トウモロコシやウィンターウィンターウェイトよりも早く、生育期間の発達の違いを反映している。
• 各作物種別の停止時刻の分布は明確に異なり、生育期間の開始や収穫日などの実際の生育期間イベントと相関していた。
• ウィンターウィンターウェイトのような遅い成長や変動の大きい生育パターンを示す作物については、分類を遅らせるように停止メカニズムが学習した。
• 分類の意思決定が外部の生育期間知識に依存しておらず、停止時刻の相関関係が、衛星データからのみ学習されたことが示された。