[論文レビュー] Convolution Neural Network Architecture Learning for Remote Sensing Scene Classification

Jie Chen, Haozhe Huang+6 more|arXiv (Cornell University)|Jan 27, 2020

Remote-Sensing Image Classification参考文献 43被引用数 14

ひとこと要約

本稿では、リモートセンシングのシーン分類のための最適な畳み込みニューラルネットワーク（CNN）アーキテクチャを自動で学習する微分可能ニューラルアーキテクチャ探索（NAS）フレームワークを提案する。アーキテクチャ探索を、操作と接続のパrameter化された空間における勾配降下法を用いた連続最適化問題として定式化することで、アーチェスキュレーション（atrous）畳み込みを組み込んだアーキテクチャを発見し、UC Merced、AID、NWPU-RESISC45ベンチマークにおいて、手作業で設計されたモデルを上回る性能を達成し、最先端の精度を実現した。

ABSTRACT

Remote sensing image scene classification is a fundamental but challenging task in understanding remote sensing images. Recently, deep learning-based methods, especially convolutional neural network-based (CNN-based) methods have shown enormous potential to understand remote sensing images. CNN-based methods meet with success by utilizing features learned from data rather than features designed manually. The feature-learning procedure of CNN largely depends on the architecture of CNN. However, most of the architectures of CNN used for remote sensing scene classification are still designed by hand which demands a considerable amount of architecture engineering skills and domain knowledge, and it may not play CNN's maximum potential on a special dataset. In this paper, we proposed an automatically architecture learning procedure for remote sensing scene classification. We designed a parameters space in which every set of parameters represents a certain architecture of CNN (i.e., some parameters represent the type of operators used in the architecture such as convolution, pooling, no connection or identity, and the others represent the way how these operators connect). To discover the optimal set of parameters for a given dataset, we introduced a learning strategy which can allow efficient search in the architecture space by means of gradient descent. An architecture generator finally maps the set of parameters into the CNN used in our experiments.

研究の動機と目的

• リモートセンシングのシーン分類における手作業で設計されたCNNアーキテクチャの限界、すなわち、広範なドメイン知識を要し、データセット固有の特徴を十分に捉えきれない点を是正すること。
• リモートセンシング画像データセットに特化した最適なCNNアーキテクチャを自動で発見する、データ駆動型のアプローチを開発すること。
• 高解像度リモートセンシング画像における文脈的情報を捉えるために、アーチェスキュレーション（atrous）畳み込みが果たす役割を調査すること。
• NASで学習されたアーキテクチャが、従来の手作業で設計されたモデルを上回る性能と表現学習能力を示すかどうかを評価すること。

提案手法

• 各アーキテクチャが操作（例：畳み込み、プーリング、恒等写像、接続なし）とその接続パターンによってパラメータ化された連続的なアーキテクチャ空間を定義する。
• アーキテクチャパラメータを最適化するための微分可能探索戦略を導入し、勾配降下法を用いてアーキテクチャと重みの両方をエンドツーエンドで訓練可能にする。
• 学習されたパラメータを具体的なCNN構造にマッピングするアーキテクチャジェネレータを設計し、深層ネットワーク用に学習されたセルをスタックする。
• 感受野を拡大し、高解像度画像における長距離の空間的依存関係を捉えるために、拡張（atrous）畳み込みを探索空間に組み込む。
• 標準的なトレーニングプロトコルに従い、3つのベンチマーク（UC Merced、AID、NWPU-RESISC45）で、50%および80%のトレーニング比率を使用して、最終的なアーキテクチャを再トレーニングする。
• アーチェスキュレーション畳み込みを置き換えたり削除したりすることで、アブレーションスタディを実施し、その性能への寄与を検証する。

実験結果

リサーチクエスチョン

• RQ1 微分可能ニューラルアーキテクチャ探索フレームワークは、リモートセンシングのシーン分類において、手作業で設計されたモデルを上回るCNNアーキテクチャを発見できるか？
• RQ2 アーチェスキュレーション畳み込みは、高解像度リモートセンシング画像における性能向上にどのような役割を果たすか？
• RQ3 NASで学習されたアーキテクチャは、空間的解像度やシーンの複雑さが異なる多様なリモートセンシングデータセットに一般化可能か？
• RQ4 アーチェスキュレーション畳み込みが欠落した場合、学習されたアーキテクチャの表現能力と分類精度にどのような影響が生じるか？

主な発見

• 提案されたアーキテクチャ学習手法は、すべての3つのベンチマークで最先端の性能を達成した：UC Merced Land-Use（80%トレーニング比率時、トップ1精度93.43%）、AID（91.12%）、NWPU-RESISC45（93.67%）。
• フレームワークが発見したすべての最適アーキテクチャにアーチェスキュレーション畳み込みが含まれており、リモートセンシング画像の文脈的表現を学習するうえでその重要性が示された。
• アブレーションスタディの結果、アーチェスキュレーション畳み込みを削除または置き換えた場合、性能が0.62%から3.16%低下した。これは、高精度を達成するためにアーチェスキュレーション畳み込みが不可欠であることを確認した。
• NASで学習されたアーキテクチャは、すべてのデータセットとトレーニング比率において、既存のモデル（ResNet-50、DenseNet、MobileNetV2）を上回った。
• UC Mercedでの学習では、50%のトレーニングデータで88.63%の精度を達成し、AlexNet（77.68%）とVGG16（81.47%）を上回った。
• 混同行列の可視化により、特に「森林」と「盛り土の穴」の視覚的に類似したクラス間の識別能力が向上したことが確認された。