[論文レビュー] Deep Discriminative Representation Learning with Attention Map for Scene Classification

Jun Li, Daoyu Lin+3 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Image and Video Retrieval Techniques参考文献 49被引用数 4

ひとこと要約

本稿では、クラス活性化マップ（CAMs）を注目メカニズムとして統合し、交差エントロピー損失とセンター損失を組み合わせることで特徴の識別性を向上させる、リモートセンシングシーン分類のための深層的判別的表現学習フレームワーク、DDRL-AMを提案する。2ストリームのCNNアーキテクチャにおいてRGB特徴と注目マップを統合し、センター損失を最適化することで、NWPU-RESISC45およびUC-Mercedで最先端の性能を達成した。17のクラスで100%の正確性を達成し、宮殿や鉄道駅など困難なクラスにおいて顕著な改善が見られた。

ABSTRACT

Learning powerful discriminative features for remote sensing image scene classification is a challenging computer vision problem. In the past, most classification approaches were based on handcrafted features. However, most recent approaches to remote sensing scene classification are based on Convolutional Neural Networks (CNNs). The de facto practice when learning these CNN models is only to use original RGB patches as input with training performed on large amounts of labeled data (ImageNet). In this paper, we show class activation map (CAM) encoded CNN models, codenamed DDRL-AM, trained using original RGB patches and attention map based class information provide complementary information to the standard RGB deep models. To the best of our knowledge, we are the first to investigate attention information encoded CNNs. Additionally, to enhance the discriminability, we further employ a recently developed object function called "center loss," which has proved to be very useful in face recognition. Finally, our framework provides attention guidance to the model in an end-to-end fashion. Extensive experiments on two benchmark datasets show that our approach matches or exceeds the performance of other methods.

研究の動機と目的

• リモートセンシング画像のシーン分類における、大規模なクラス内変動、小さなクラス間相違、小規模な物体検出の課題に対処する。
• 事前学習モデルから得られる注目マップを組み込むことで、シーン画像内の顕著な領域を強調し、特徴の識別性を向上させる。
• トレーニング中に標準的な交差エントロピー損失とセンター損失を統合することで、モデルの汎化性能とクラス分離性を向上させる。
• 注目マップをガイドとして用いることで、判別的な方法で特徴学習を精緻化する、エンドツーエンドでトレーニング可能なフレームワークを開発する。
• 注目ベースの特徴ガイドラインとセンター損失が、視覚的に類似した物体や小規模な物体（例：ゴルフ場、飛行機）の誤分類を低減する有効性を実証する。

提案手法

• 2ストリームのCNNアーキテクチャを構築：1本目のストリームは元のRGBパッチを処理し、2本目のストリームは事前学習モデルによるGrad-CAMから生成されたクラス活性化マップ（CAMs）を処理する。
• 特徴マップレベルでRGB特徴とCAM特徴を統合し、注目マップによる誘導付き表現学習を可能にする。
• 組み合わせ損失関数を用いてモデルをトレーニング：分類のための標準的な交差エントロピー損失と、同じクラスの特徴を埋め込み空間内で近づけるためのセンター損失。
• センター損失を用いてクラス内コンパクト性を強制し、クラス内変動を低減するとともに、クラス間分離性を向上させる。
• エンドツーエンドのトレーニングを採用し、注目マップ生成と特徴学習プロセスを同時に最適化する。
• t-SNE可視化を用いて高次元特徴空間を分析し、学習済み表現のクラスタリング行動を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルから得られる注目マップは、リモートセンシングシーン分類の向上に意味のある空間的ガイドとして機能するか？
• RQ2 交差エントロピー損失とセンター損失を組み合わせることで、リモートセンシング画像分類における特徴の識別性が向上するか？
• RQ3 注目マップの統合は、フリーマイレッド、レールウェイ、ランウェイのように視覚的に類似したクラスを区別する能力にどのように影響するか？
• RQ4 標準的なCNNや既存のメトリック学習手法と比較して、提案されたDDRL-AMフレームワークは誤分類率をどの程度低減するか？
• RQ5 注目ガイド付き特徴学習は、ゴルフ場や飛行機のような小規模または曖昧な物体の分類性能を向上させることができるか？

主な発見

• 提案されたDDRL-AM手法は、NWPU-RESISC45データセットの45クラス中17クラスで100%の分類正確性を達成し、強力な識別能力を示した。
• 宮殿クラスでは0.12、鉄道駅クラスでは0.14の正確性向上を達成し、クラス内変動に起因する誤分類が低減した。
• NWPU-RESISC45およびUC-Mercedデータセットの混同行列は、類似クラス間の誤分類が顕著に減少し、より明確な構造を示した。
• t-SNE可視化により、センター損失が埋め込み空間におけるクラス内特徴の凝集性を高め、クラス間特徴の分離性を向上させることを確認した。
• 注目マップとセンター損失の統合により、より強固で識別性の高い特徴空間が得られ、全評価指標で性能向上が確認された。
• 2つのベンチマークデータセットにおいて、最先端の手法を上回る性能を発揮し、リモートセンシングシーン分類の主な課題に対処する有効性を確認した。