[論文レビュー] End-to-End Learned Early Classification of Time Series for In-Season Crop Type Mapping

Marc Rußwurm, Nicolas Courty+4 more|arXiv (Cornell University)|Jan 30, 2019

Time Series Analysis and Forecasting参考文献 10被引用数 27

ひとこと要約

本稿では、作物種別マッピングにおける早期かつ正確な時系列分類を一括最適化するエンド・ツー・エンドのディーブラーニングフレームワークELECTSを提案する。標準的な時系列分類器にストップ予測ヘッドを追加し、バランスロスで訓練することで、ELECTSはデータ要件を最大60％削減しながら、ヨーロッパおよびアフリカのデータセットにおいて最先端の精度を維持する。

ABSTRACT

Remote sensing satellites capture the cyclic dynamics of our Planet in regular time intervals recorded in satellite time series data. End-to-end trained deep learning models use this time series data to make predictions at a large scale, for instance, to produce up-to-date crop cover maps. Most time series classification approaches focus on the accuracy of predictions. However, the earliness of the prediction is also of great importance since coming to an early decision can make a crucial difference in time-sensitive applications. In this work, we present an End-to-End Learned Early Classification of Time Series (ELECTS) model that estimates a classification score and a probability of whether sufficient data has been observed to come to an early and still accurate decision. ELECTS is modular: any deep time series classification model can adopt the ELECTS conceptual idea by adding a second prediction head that outputs a probability of stopping the classification. The ELECTS loss function then optimizes the overall model on a balanced objective of earliness and accuracy. Our experiments on four crop classification datasets from Europe and Africa show that ELECTS allows reaching state-of-the-art accuracy while reducing the quantity of data massively to be downloaded, stored, and processed. The source code is available at https://github.com/marccoru/elects.

研究の動機と目的

• リモートセンシング分野、特に生育中の作物種別マッピングにおいて、早期時系列分類のエンド・ツー・エンド最適化の欠如に対処すること。
• 部分列の再トレーニングを必要とし、計算コストが高いため、インクリメンタル分類手法の限界を克服すること。
• 手作業で設計されたヒューリスティクスや地域特有の仮定に依存せずに、早期性と正確性のバランスを取る統合フレームワークを開発すること。
• 最小限の衛星データで、大規模農業モニタリングに向けた効率的でスケーラブルかつ実用的な早期分類を可能にすること。
• ヨーロッパおよびアフリカの異なる地理的・データスケール条件（小規模および大規模データセットを含む）において一般化できることを示すこと。

提案手法

• 標準的な深層時系列分類モデル（例：LSTM、Transformer、またはCNN）に、ストップ確率を出力する第2の予測ヘッドを追加する。
• 分類精度と早期性の両方をバランスさせる複合損失関数を用いてモデルを訓練し、信頼性が高くなった段階で早期に停止を促す。
• 可変長の入力シーケンスを用いて固定サイズの埋め込みを生成することで、インクリメンタル分類における部分列の再トレーニングの必要性を排除する。
• バックプロパゲーションにより連合目的関数を最適化し、十分な生育状態の情報が観測された時点で信頼性の高い予測が可能であることをモデルが学習できるようにする。
• 異なるラベル分布とデータスケールを持つ複数の作物種別データセットにフレームワークを適用し、地域間での頑健性を保証する。
• CPU上で最小限の推論コストで実装可能であり、リソース制約のある環境での運用的利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分列の再トレーニングなしに、生育期のはじめの段階で正確な作物種別予測を可能にするエンド・ツー・エンドのディーブラーニングモデルを訓練できるか？
• RQ2 提案されたELECTSフレームワークは、多様なデータセットにおいて、予測の早期性と分類精度のトレードオフをどのようにバランスさせるか？
• RQ3 ELECTSは、作物種別マッピングにおいて、どの程度データ量（例：衛星画像の枚数）を削減できるか？
• RQ4 モデルの早期停止意思決定は、作物生育における実際の生育フェノロジー的イベント（例：緑化、黄変）と相関しているか？
• RQ5 限られたアノテーション付きサンプルを有する小規模データセットにおいて、ELECTSは正確性のみを最適化するモデルと比較してどの程度の性能を示すか？

主な発見

• ELECTSはヨーロッパおよびアフリカの4つの作物種別データセットで最先端の分類精度を達成しながら、平均してデータ要件を40％から60％削減した。
• 大規模なBavarianCropsデータセットでは、ELECTS-LSTMは正確性のみを最適化したモデルと同等の精度を達成したが、全時系列長の40％しか使用しなかった。
• 南スダントおよびガーナの小規模データセットでは、ELECTS-LSTMの性能は正確性のみを最適化したモデルよりわずかに劣ったが、これはデータ依存性を示している。
• モデルの早期停止意思決定は、緑化や黄変といった重要な生育フェノロジー的イベントと一致しており、生物学的解釈可能性が裏付けられた。
• ELECTSを用いることで、シーメント2データにスケーリングした場合、ヨーロッパにおける年間作物マッピングに必要な総データ量を最大26TB削減でき、不要なダウンロードと処理を回避した。
• ELECTS-LSTMモデルのトレーニングは1つのGPUで1時間未満で完了し、推論は標準的なノートブックでCPU上で実行可能であり、実用的かつ運用可能な展開が可能となった。