[論文レビュー] SAN: Scale-Aware Network for Semantic Segmentation of High-Resolution Aerial Images

Jingbo Lin, Weipeng Jing+1 more|arXiv (Cornell University)|Jul 6, 2019

Advanced Neural Network Applications参考文献 17被引用数 13

ひとこと要約

本稿では、高解像度空中画像のセマンティックセグメンテーションのためのスケールに敏感なモジュール（SAM）を提案する。この手法は、学習可能な2次元再サンプリングマップを用いて特徴マップを再サンプリングすることで、スケールが不均一なオブジェクトに対応する。本手法は、小規模・大規模・長帯状の建物の特徴表現を向上させ、計算コストの増加を最小限に抑えつつ、エンドツーエンドで訓練可能であり、ISPRS Vaihingenデータセットで最先端の性能を達成した。

ABSTRACT

High-resolution aerial images have a wide range of applications, such as military exploration, and urban planning. Semantic segmentation is a fundamental method extensively used in the analysis of high-resolution aerial images. However, the ground objects in high-resolution aerial images have the characteristics of inconsistent scales, and this feature usually leads to unexpected predictions. To tackle this issue, we propose a novel scale-aware module (SAM). In SAM, we employ the re-sampling method aimed to make pixels adjust their positions to fit the ground objects with different scales, and it implicitly introduces spatial attention by employing a re-sampling map as the weighted map. As a result, the network with the proposed module named scale-aware network (SANet) has a stronger ability to distinguish the ground objects with inconsistent scale. Other than this, our proposed modules can easily embed in most of the existing network to improve their performance. We evaluate our modules on the International Society for Photogrammetry and Remote Sensing Vaihingen Dataset, and the experimental results and comprehensive analysis demonstrate the effectiveness of our proposed module.

研究の動機と目的

• 高解像度空中画像におけるオブジェクトスケールの不一致という課題に対処すること。
• ディープネットワークにおける固定受容 field が、小規模または大規模なオブジェクトを効果的に捉えられないという限界を克服すること。
• 空間スケールと入力データの特性の両方に適応可能なモジュールを構築し、一般化性能を向上させること。
• アーキテクチャの大幅な見直しやパラメータ数の著しい増加なしに、既存のネットワークに容易に統合できること。
• リモートセンシングベンチマークにおいて、空間アテンション機構やマルチスケール統合ベースラインを上回る優れた性能を示すこと。

提案手法

• オブジェクトスケールに応じてピクセル位置を動的に調整できるように、2次元再サンプリングマップを学習するスケールに敏感なモジュール（SAM）を提案する。
• 特徴マップと再サンプリングマップの要素ごとの乗算を用いて、空間アテンションを暗黙的に適用する。
• バックプロパゲーションを用いて再サンプリングマップをエンドツーエンドで学習させ、データに適応し、位置に適応する特徴再構成を可能にする。
• 完全畳み込みネットワーク（FCN8s）にSAMを統合し、スケールに敏感なネットワーク（SANet）を構築する。
• 再サンプリング機構を活用して、標準的な畳み込み操作を超えた有効なサンプリング空間を拡張する。
• 標準的な畳み込み層を維持し、軽量なSAMモジュールを追加することで、既存のネットワークとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な再サンプリング機構は、高解像度空中画像におけるさまざまなスケールのオブジェクトのセマンティックセグメンテーション精度を向上させることができるか？
• RQ2 提案されたSAMは、従来の空間アテンション機構と比較して、スケール変動の処理においてどのように優れているか？
• RQ3 標準的なFCNと比較して、SAMは小規模・大規模・長帯状の建物の特徴表現をどの程度向上させているか？
• RQ4 スケールに特化した設計を必要とせずに、さまざまな入力画像に一般化できるか？
• RQ5 SAMは、パフォーマンスおよびパラメータの増加を最小限に抑えながら、既存のネットワークに効果的に埋め込めるか？

主な発見

• 提案されたSAMは、アンサンブルFCN8sと比較して、小規模・大規模・長帯状の建物におけるセグメンテーション精度を顕著に向上させた。
• ISPRS Vaihingenデータセットにおいて、DSMを用いず、IRRG画像のみを用いたにもかかわらず、SANetにSAMを組み込んだモデルは、DeepLabv3+、PSPNet、UNetといったベースラインモデルを上回った。
• 同様のパラメータ数を有する空間アテンションモジュールと比較して、SAMベースのモデルはより高いmIoUを達成しており、スケールに敏感な特徴学習における優位性を証明した。
• 可視化結果から、SAMは特に大規模および長帯状の建物において、より均一で完全な活性化マップを生成することがわかった。
• vanilla FCN8sが受容フィールドが限られているために失敗するような極端なケース（例：画像の大部分を占める建物）においても、本手法は強力な性能を維持した。
• アブレーションスタディの結果、性能向上は単に追加のパラメータによるものではなく、スケールに敏感な再サンプリング機構に起因することが確認された。