[論文レビュー] Satellite Image Scene Classification based on Deeper ConvNet with Context Aggregation

Yingbin Zheng, Bingfei Fu+3 more|arXiv (Cornell University)|Feb 2, 2018

Remote-Sensing Image Classification被引用数 4

ひとこと要約

本稿では、並列なパスウェイを通じて局所的特徴とグローバルなコンテキストを共同でモデリングすることにより、衛星画像のシーン分類を向上させる2パスウェイ型の残差ネットワーク、ResNet-TPを提案する。両パスウェイからのグローバル平均プーリング特徴を統合することで、UCM Land UseおよびNWPU-RESISC45データセットにおいて最先端の性能を達成し、従来の手法に比べ顕著な改善を示した。

ABSTRACT

Scene classification is a fundamental problem to understand the high-resolution remote sensing imagery. Recently, convolutional neural network (ConvNet) has achieved remarkable performance in different tasks, and significant efforts have been made to develop various representations for satellite image scene classification. In this paper, we present a novel representation based on a deeper ConvNet with context aggregation. The proposed two-pathway ResNet (ResNet-TP) architecture adopts the ResNet [1] as backbone, and the two pathways allow the network to model both local details and regional context. The ResNet-TP based representation is generated by global average pooling on the last convolutional layers from both pathways. Experiments on two scene classification datasets, UCM Land Use and NWPU-RESISC45, show that the proposed mechanism achieves promising improvements over state-of-the-art methods.

研究の動機と目的

• 高分解能リモートセンシング画像における局所的詳細と領域的コンテキストの両方を捉えることで、衛星画像のシーン分類を向上させること。
• 従来のConvNetがシーン分類タスクにおける長距離依存関係と空間的コンテキストをモデル化する点で抱える制限を解消すること。
• 強化された特徴表現を実現するための2つの並列パスウェイを備えたより深い残差ネットワークアーキテクチャの開発。
• ベンチマークデータセット上で提案手法を評価し、最先端の手法とその性能を比較すること。

提案手法

• 提案手法は、残差ネットワークのバックボーンに基づいた2パスウェイ型ResNet（ResNet-TP）アーキテクチャを用い、特徴を並列で処理する。
• 一方のパスウェイは局所的特徴の学習に注力するのに対し、もう一方は広範な領域的コンテキストの捉え方に重点を置く。
• 各パスウェイの最終畳み込み層に対してグローバル平均プーリングを適用し、統一された特徴表現を生成する。
• 2つのパスウェイの特徴を連結または統合して、分類に適した文脈に配慮した表現を形成する。
• シーン分類データセット上で標準的な教師あり学習と交差エントロピー損失を用いて、アーキテクチャをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所的特徴とグローバル特徴の両方をモデリングする2パスウェイ型の残差ネットワークアーキテクチャは、シーン分類の性能を向上させることができるか？
• RQ2 並列パスウェイによる文脈集約は、衛星画像分類における特徴表現にどのように影響を与えるか？
• RQ3 提案されたResNet-TPは、標準的な衛星画像シーン分類ベンチマークで、既存の最先端手法を上回る性能を示すか？
• RQ4 局所的特徴と文脈的特徴の統合は、多様な土地利用・土地被覆カテゴリにおける一般化性能をどの程度向上させるか？

主な発見

• ResNet-TPモデルはUCM Land Useデータセットにおいて、最先端の性能を達成し、以前の手法を上回った。
• NWPU-RESISC45データセットでは、提案手法が既存の最先端手法に対して顕著な精度向上を示した。
• アブレーションスタディの結果、局所的特徴パスウェイと文脈的特徴パスウェイの両方が、最終的な分類性能に有意に寄与することが確認された。
• 両パスウェイにグローバル平均プーリングを適用することで、過学習を防ぎつつ効果的でコンactな特徴表現が可能になった。