[論文レビュー] A CNN-RNN Framework with a Novel Patch-Based Multi-Attention Mechanism for Multi-Label Image Classification in Remote Sensing.

Gencer Sumbül, Begüm Demir|arXiv (Cornell University)|Feb 28, 2019

Remote-Sensing Image Classification被引用数 3

ひとこと要約

本論文は、パッチベースのマルチアテンション機構を備えた新規なCNN-RNNフレームワークを提案し、マルチラベルリモートセンシング画像分類に応用する。KブランチCNNを用いたマルチスケール特徴抽出、双方向LSTMによる空間的依存関係モデリング、および土地被覆クラス間の同時発生を統合的に扱うアテンション機構を組み合わせることで、BigEarthNetベンチマークで最先端の性能を達成した。

ABSTRACT

This paper presents a novel multi-attention driven system that jointly exploits Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) in the context of multi-label remote sensing (RS) image classification. The proposed system consists of four main modules. The first module aims to extract preliminary local descriptors of RS image bands that can be associated to different spatial resolutions. To this end, we introduce a K-Branch CNN, in which each branch extracts descriptors of image bands that have the same spatial resolution. The second module aims to model spatial relationship among local descriptors. This is achieved by a bidirectional RNN architecture, in which Long Short-Term Memory nodes enrich local descriptors by considering spatial relationships of local areas (image patches). The third module aims to define multiple attention scores for local descriptors. This is achieved by a novel patch-based multi-attention mechanism that takes into account the joint occurrence of multiple land-cover classes and provides the attention-based local descriptors. The last module exploits these descriptors for multi-label RS image classification. Experimental results obtained on the BigEarthNet that is a large-scale Sentinel-2 benchmark archive show the effectiveness of the proposed method compared to a state of the art method.

研究の動機と目的

• 1つのシーンに複数の土地被覆クラスが同時に存在する状況における、リモートセンシング画像におけるマルチラベル分類の課題に対処すること。
• 土地被覆クラスの空間的関係と同時発生パターンを統合的にモデリングすることで、特徴表現を向上させること。
• 複数のラベルを同時に考慮する新しいアテンション機構を用いて、局所的記述子の学習を強化すること。
• BigEarthNetのような大規模リモートセンシングデータセットにおいて、優れた性能を達成すること。

提案手法

• KブランチCNNを設計し、同じ空間解像度を持つマルチスペクトル画像バンドごとに処理することで、局所的記述子を抽出する。
• 局所的記述子を順序に従って処理することで、双方向LSTMネットワークが画像パッチ間の空間的関係をモデリングする。
• 新規なパッチベースのマルチアテンション機構により、複数の土地被覆クラスがパッチ全体にわたって同時に発生する割合に基づいてアテンションスコアを計算する。
• アテンション機構により、マルチラベル予測に適した関連する空間的および意味的文脈を強調することで、局所的記述子を精緻化する。
• 最終的な分類ヘッドは、アテンション強化済みの記述子を用いて、1枚の画像に対して複数のラベルを予測する。
• 全フレームワークは、マルチラベル分類のための交差エントロピー損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 複数の土地被覆クラスの同時発生をモデリングする統合的アテンション機構は、リモートセンシングにおけるマルチラベル分類を改善できるか？
• RQ2 CNNとRNNアーキテクチャの統合は、マルチスケールRS画像における局所的テクスチャと空間的コンテキストを効果的に捉えることができるか？
• RQ3 パッチベースのマルチアテンション機構は、標準的なアテンション機構と比較して、より優れた特徴表現を実現するか？
• RQ4 提案フレームワークは、大規模リモートセンシングベンチマークにおいて、最先端の手法をどの程度上回るか？

主な発見

• 提案手法はBigEarthNetベンチマークで最先端の性能を達成し、既存手法と比較して優れた分類精度を示した。
• 局所的記述子と双方向LSTMの統合により、画像パッチ間の空間的依存関係のモデリングが顕著に向上した。
• パッチベースのマルチアテンション機構は、複数の土地被覆クラスの同時発生パターンを効果的に捉え、特徴の識別能を向上させた。
• KブランチCNNにより、マルチスケール特徴抽出が効果的に行われ、リモートセンシング画像における異なるスケールへのロバスト性が向上した。
• アブレーションスタディの結果、KブランチCNN、双方向LSTM、マルチアテンションの各コンポonentが全体の性能向上に有意に寄与していることが確認された。
• 複雑な土地被覆構成を持つ大規模で多様なリモートセンシングシーンにおいて、本手法は優れた一般化性能を示した。