[論文レビュー] Spatio-temporal crop classification of low-resolution satellite imagery with capsule layers and distributed attention

John Brandt|arXiv (Cornell University)|Apr 23, 2019

Remote Sensing in Agriculture参考文献 6被引用数 7

ひとこと要約

本稿では、低解像度のSentinel-2画像を用いた空間時間的作物分類のため、キャプセル層、双方向LSTM、および時間分散アテンションを統合した深層学習モデルCapsAttnを提案する。19クラスの作物データセットにおいて、SOTAの88.0%の正確性を達成し、先行手法よりも相対的に80%以上高い改善度を示し、誤差率も約50%低減した。

ABSTRACT

Land use classification of low resolution spatial imagery is one of the most extensively researched fields in remote sensing. Despite significant advancements in satellite technology, high resolution imagery lacks global coverage and can be prohibitively expensive to procure for extended time periods. Accurately classifying land use change without high resolution imagery offers the potential to monitor vital aspects of global development agenda including climate smart agriculture, drought resistant crops, and sustainable land management. Utilizing a combination of capsule layers and long-short term memory layers with distributed attention, the present paper achieves state-of-the-art accuracy on temporal crop type classification at a 30x30m resolution with Sentinel 2 imagery.

研究の動機と目的

• グローバルカバレッジに欠け、高解像度では高コストとなる低解像度の衛星画像を用いた正確な作物種別分類の課題に対処すること。
• 農業時系列データにおける複雑な空間時間的パターンを捉えることが難しい従来のモデル（CNN や LSTM など）の限界を克服すること。
• リモートセンシング分野におけるキャプセルネットワークとアテンションメカニズムの統合を検討し、低解像度データにおける分類性能の向上を図ること。
• 勾配伝搬と時間的表現の向上を目的として、マージン損失と再構成損失の代わりに、マスクされていないキャプセル層と交差エントロピー損失を用いた訓練の有効性を検証すること。
• キャプセル層と分散アテンションの組み合わせが、時間的作物分類タスクにおけるモデル性能を顕著に向上させることを実証すること。

提案手法

• 6バンドのSentinel-2入力（10mおよび20mバンドを10mにダウンサンプリング）を26時間ステップにわたり、ReLU活性化関数を用いた1x1 2D畳み込み層に投入する。
• 1280個のキャプセルと1キャプセルあたり10ユニットのプライマリキャプセル層を適用し、空間的関係を保持するためのスワッシュ活性化関数を用いる。
• キャプセル出力をフラット化し、各方向に240ユニットの双方向LSTMに供給することで、各時間ステップごとに480次元の隠れ状態を生成する。
• 各時間ステップで学習可能な重みベクトルを用いて時間分散アテンションを実装し、クエリ-キー相互作用に基づきソフトマックスによりアテンション重みを計算する。
• アテンションを用いてLSTM隠れ状態を再重み付けするため、以下の式を用いる：$ u_{it} = \text{tanh}(W_w h_{it} + b_s) $, $ \alpha_{it} = \frac{\text{exp}(u_{it}^T u_w)}{\sum_t \text{exp}(u_{it}^T u_w)} $, および $ s_i = \sum_t \alpha_{it} h_{it} $。
• アテンション処理後のLSTM出力を、ReLUとソフトマックス活性化関数を用いた2層の全結合層に通し、最終的な19クラス分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNやLSTMと比較して、キャプセルネットワークは低解像度衛星画像における時間的作物分類の正確性を向上させることができるか？
• RQ2 LSTMと分散アテンションを統合することで、農業フェノロジーの複雑な時間的依存性をモデルがより良く学習できるようになるか？
• RQ3 このリモートセンシングの文脈において、マージン損失と再構成損失を用いたマスク訓練と比較して、交差エントロピー損失を用いたマスクされていないキャプセル層訓練はより効果的か？
• RQ4 キャプセル層とアテンションメカニズムは、個別および共同で低解像度作物分類における性能向上にどのように寄与するか？
• RQ5 提案されたCapsAttnアーキテクチャは、同じベンチマークデータセットにおいて、既存のSOTAモデルを上回ることができるか？

主な発見

• CapsAttnはテスト正確度88.0%を達成し、RubwurmとKorner（2017）が報告した前回のSOTA手法と比較して、相対的な改善度が80%以上であることが示された。
• モデルは前回のSOTAと比較して誤差率を約50%低減し、低解像度空間時間的作物分類タスクにおける顕著な性能向上を示した。
• キャプセル層単体でも、85.6%（CNN-LSTM）から86.7%（CapsLSTM）へと性能向上を示し、空間的・時間的特徴を効果的に保持していることが裏付けられた。
• 分散アテンション単体でも、85.6%（CNN-LSTM）から86.3%（CNNAttn）へと正確度が向上し、時間依存パターンのモデリングにおける価値が確認された。
• キャプセル層と分散アテンションの組み合わせが最も高い性能（88.0%の正確度）を達成し、両者の相乗効果が裏付けられた。
• 共有重みを用いたアテンションは性能向上を示さず、時間ステップごとに個別のアテンション重みを学習することが、複雑な農業フェノロジーを捉えるために不可欠であることが示された。