[論文レビュー] Deep Neural Networks for Semantic Segmentation of Multispectral Remote Sensing Imagery.

Ronald Kemker, Christopher Kanan|arXiv (Cornell University)|Mar 19, 2017

Remote-Sensing Image Classification参考文献 21被引用数 9

ひとこと要約

本稿では、ラベル不足の問題を克服するため、合成データを用いてマルチスペクトルリモートセンシング画像（MSI）のセマンティックセグメンテーションに深層学習アプローチを提案する。合成MSIでDCNNを初期化することで、過学習を低減し、非常に高解像度のUAV収集MSIを含む新しいRIT-18データセットにおいて、最先端のベースラインを確立する。

ABSTRACT

Deep convolutional neural networks (DCNNs) have been used to achieve state-of-the-art performance on many computer vision tasks (e.g., object recognition, object detection, semantic segmentation) thanks to a large repository of annotated image data. Large labeled datasets for other sensor modalities, e.g., multispectral imagery (MSI), are not available due to the large cost and manpower required. In this paper, we adapt state-of-the-art DCNN frameworks in computer vision for semantic segmentation for MSI imagery. To overcome label scarcity for MSI data, we substitute real MSI for generated synthetic MSI in order to initialize a DCNN framework. We evaluate our network initialization scheme on the new RIT-18 dataset that we present in this paper. This dataset contains very-high resolution MSI collected by an unmanned aircraft system. The models initialized with synthetic imagery were less prone to over-fitting and provide a state-of-the-art baseline for future work.

研究の動機と目的

• 深層ニューラルネットワークの学習に適した、大規模でアノテート済みのマルチスペクトル画像（MSI）データセットが不足している問題に対処すること。
• 実際のラベル付きデータに依存するのではなく、合成MSIを用いてネットワークを初期化することで、MSIにおけるラベル不足の問題を克服すること。
• 無人航空機システム（UAS）から得られる高解像度MSIに特化した、堅牢な深層学習フレームワークを構築すること。
• 新規の高品質なMSIベンチマークデータセットを用いて、合成データ初期化の有効性を評価すること。

提案手法

• コンピュータビジョン分野で実証済みの最先端の深層畳み込みニューラルネットワーク（DCNN）アーキテクチャを、MSIのセマンティックセグメンテーションに適応する。
• DCNNの事前学習または初期化に、合成マルチスペクトル画像を生成し、実際のラベル付きデータに依存するのを減らす。
• UASによって収集された新規の非常に高解像度のMSIデータセット、RIT-18データセットを評価に用いる。
• 合成MSIによる初期化の後、実際のMSIデータを用いた微調整を経て、DCNNを訓練・最適化する。
• 初期化後、実際のMSIデータ上で標準的なセマンティックセグメンテーション損失関数（例：交差エントロピー）を用いて学習を実施する。
• RIT-18テストセットを用いて、モデルの一般化性能および過学習の程度を、標準的なセグメンテーション指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 合成マルチスペクトル画像は、実際のMSI応用におけるセマンティックセグメンテーションのための深層ニューラルネットワークの初期化に効果的であるか？
• RQ2 実データまたはランダム初期化と比較して、合成MSIによる初期化は過学習および性能の観点でどのように異なるか？
• RQ3 提案手法は、高解像度マルチスペクトルリモートセンシング画像におけるセマンティックセグメンテーションの最先端のベースラインを確立するか？
• RQ4 限られた実際のMSIデータセットにおいて、合成データの使用がモデルの一般化性能をどの程度向上させるか？

主な発見

• 実データで初期化されたモデルと比較して、合成マルチスペクトル画像で初期化されたモデルは顕著に過学習が低減した。
• 合成初期化アプローチはRIT-18データセットで最先端の性能を達成し、MSIセマンティックセグメンテーションの新しいベンチマークを設定した。
• 本手法は、実際のラベル付きMSIの不足を補うために合成データを効果的に活用し、モデルの頑健性を向上させた。
• RIT-18データセットは、十分な複雑性と解像度を備えており、将来的なMSIセグメンテーション研究の信頼できるベンチマークとしての役割を果たすことが示された。