[論文レビュー] Artificial Generation of Big Data for Improving Image Classification: A Generative Adversarial Network Approach on SAR Data

Dimitrios Marmanis, Wei Yao+6 more|arXiv (Cornell University)|Nov 6, 2017

Synthetic Aperture Radar (SAR) Applications and TechniquesEngineering参考文献 8被引用数 17

ひとこと要約

本稿は、7つの都市部・準都市部クラスにわたる60,000枚以上のパッチを含む、初めての大規模で完全にアノテーションが施されたSAR画像データセットを紹介し、ResNet-50を用いた深層学習によるSAR分類の評価を行い、93.2%の正確性を達成した。さらに、改良型BEGANモデルを用いたGANベースの合成データ生成によるトレーニングの拡張を検討したが、合成出力が現実的であるにもかかわらず、分類性能に改善は見られなかった。

ABSTRACT

Very High Spatial Resolution (VHSR) large-scale SAR image databases are still an unresolved issue in the Remote Sensing field. In this work, we propose such a dataset and use it to explore patch-based classification in urban and periurban areas, considering 7 distinct semantic classes. In this context, we investigate the accuracy of large CNN classification models and pre-trained networks for SAR imaging systems. Furthermore, we propose a Generative Adversarial Network (GAN) for SAR image generation and test, whether the synthetic data can actually improve classification accuracy.

研究の動機と目的

• リモートセンシングにおける深層学習のための、大規模で完全にアノテーションが施されたSAR画像データセットの不足に取り組むこと。
• 特にResNet-50を用いた、非常に高分解能なSARデータに対するパッチベース分類のための深層畳み込みニューラルネットワーク（CNN）の性能を評価すること。
• GANを用いて生成された合成SAR画像が、分類精度の向上に寄与するかどうかを調査すること。
• 光学画像で事前学習されたモデルからの転移学習を検討し、それがSAR画像分類にどの程度関連性があるかを評価すること。
• 大規模なSAR画像合成のためのGANベースのアプローチ（BEGAN）を開発および適応させること。

提案手法

• 6大陸にまたがる288枚のTerraSAR-Xシーンから、HH偏波、2.9 m解像度、160×160ピクセルのパッチを用いて、大規模なSAR画像データセットを構築した。
• 実データセット上で、7クラス分類に適応させた最終層を含む、ResNet-50分類器をスクラッチからトレーニングした。
• SAR画像生成のためのBEGAN GANアーキテクチャの適応を行い、3つのシナリオでテストした：フルサイズ（160×160）、中間サイズ（80×80でダウンサンプリング）、シンプル（80×80でクロッピング）。
• 『シンプル』シナリオからの合成パッチを160×160にアップサンプリングし、実データセットに追加して分類器のファインチューニングを行った。
• 合成SAR画像によるデータ拡張の前後で、分類精度を評価した。
• 8ビット強度変換と空間的クロッピング／ダウンサンプリングを用いて、GANおよび分類器のトレーニングのための入力標準化を実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模で完全にアノテーションが施されたSAR画像データセットは、高精度な深層学習分類を可能にするか？
• RQ2 SARデータに対して事前学習済みのResNet-50をファインチューニングすることは、光学画像で事前学習されたモデルからの転移学習よりも優れた性能をもたらすか？
• RQ3 GANで生成された合成SAR画像は、実データのトレーニングを効果的に拡張し、分類精度の向上に寄与するか？
• RQ4 現在のGANアーキテクチャは、大規模なSAR画像パッチの現実的な生成において、どのような限界を有するか？
• RQ5 合成データにおける空間的文脈と解像度の不一致が、下流の分類性能にどのように影響するか？

主な発見

• 60,000枚を超えるSAR画像パッチを含む本稿で提案されたデータセットにより、最先端の性能を示す深層畳み込みニューラルネットワークのトレーニングが可能となり、7つの意味的クラスにおいて93.2%の分類正確性を達成した。
• 光学画像で事前学習した重みを用いることでほとんど利益が得られず、光学画像とSAR画像の統計的特徴に顕著なドメインシフトが存在することが示された。
• 『シンプル』シナリオ（80×80クロップパッチ）において、BEGANベースのGANは現実的な外観のSARパッチを効果的に生成できたが、空間的文脈は低下していた。
• 視覚的に妥当な合成画像を生成したにもかかわらず、5,100枚の合成パッチ（主に『居住地』クラス）を追加しても、分類器の正確性は93.2%のまま変化せず、向上も劣化も見られなかった。
• 性能向上が見られないことから、現在の合成データは分類器に有益なほど十分な多様性や意味的正確性を欠いている可能性が示唆されたが、視覚的リアリズムは保証されていた。
• 本研究は、十分なラベル付きデータが利用可能な場合、深層学習モデルがSARデータに対して高精度を達成できることを確認した。これにより、パッチベースSAR分類の新しいベンチマークが確立された。