[論文レビュー] Slum Segmentation and Change Detection : A Deep Learning Approach

Shishira R Maiya, Sudharshan Chandra Babu|arXiv (Cornell University)|Nov 19, 2018

Urban and Rural Development Challenges参考文献 12被引用数 21

ひとこと要約

本論文は、転移学習を用いたマスクR-CNNを用いた深層学習的手法を提案し、衛星画像におけるインスタンスレベルのスランムセグメンテーションと変化検出を実現する。100 mスケールにおいて最大平均精度（AP）80.2を達成し、個々のスランムの特定および時間的変化の定量的評価において優れた性能を示している。

ABSTRACT

More than one billion people live in slums around the world. In some developing countries, slum residents make up for more than half of the population and lack reliable sanitation services, clean water, electricity, other basic services. Thus, slum rehabilitation and improvement is an important global challenge, and a significant amount of effort and resources have been put into this endeavor. These initiatives rely heavily on slum mapping and monitoring, and it is essential to have robust and efficient methods for mapping and monitoring existing slum settlements. In this work, we introduce an approach to segment and map individual slums from satellite imagery, leveraging regional convolutional neural networks for instance segmentation using transfer learning. In addition, we also introduce a method to perform change detection and monitor slum change over time. We show that our approach effectively learns slum shape and appearance, and demonstrates strong quantitative results, resulting in a maximum AP of 80.0.

研究の動機と目的

• 衛星画像を用いて都市部の非公式集住地における正確で個別的なスランムマッピングの課題に取り組む。
• 従来の手法がすべてのスランムインスタンスを1つのクラスとして扱うという制限を克服し、標的となる再生計画を可能にする。
• 複数時刻の衛星データを用いて、スランムの拡大または縮小を効率的かつ堅牢にモニタリングするためのスケーラブルな手法を開発する。
• トレーニングおよび評価を支援するため、ムンバイのスランム用にカスタムの高解像度データセット（ポリゴンマスク付）を構築する。
• リソースが限られた環境におけるインスタンスセグメンテーションにおいて、転移学習の有効性を実証する。

提案手法

• スランムの衛星画像におけるインスタンスセグメンテーションに、ResNet-101および特徴ピラミッドネットワーク（FPN）をバックボーンとするマスクR-CNNを活用する。
• 分類、ボックス回帰、マスクセグメンテーションの損失を統合したマルチタスク損失関数を用いてモデルを訓練する。
• COCOで事前学習済みのマスクR-CNNを、ムンバイの610枚の衛星画像（513枚トレーニング、97枚テスト）から構築したカスタムデータセット上で微調整することで、転移学習を適用する。
• 一般化性能の向上を図るため、水平・垂直反転、回転、平行移動、色のずれ（color jittering）などのデータオーグメンテーションを実施する。
• 2段階の変化検出パイプラインを実装：まず、訓練済みモデルを用いて2つの時刻におけるスランムマスクを予測し、その後、二値マスクの差分を計算して変化率を算出する。
• アスペクト比を保持したまま、画像を1024×1024にリサイズ・パディングし、128エポックにわたり学習率をコサイン減衰させるAdam最適化手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくインスタンスセグメンテーションモデルは、高解像度衛星画像において個々のスランムを効果的に特定・セグメンテーションできるか？
• RQ2 スケーリングの違い（100 m 対 1000 m）に応じて、モデルのセグメンテーション精度はどのように変化するか？
• RQ3 転移学習は、スランムセグメンテーションタスクにおいて、大規模なアノテート済みデータセットの必要性をどの程度低減できるか？
• RQ4 複数時刻の衛星データを用いて、本手法はスランムサイズの変化を信頼性高く検出・定量できるか？
• RQ5 複雑なテクスチャや混合土地利用を示す多様なスランム地域に対し、モデルの一般化性能はどの程度高いか？

主な発見

• 100 mスケールのテストセットにおいて、平均平均精度（AP）が80.2に達し、強力なインスタンスセグメンテーション性能を示した。
• 100 mスケールモデルは1000 mスケールモデルを上回り、交差オーバーラップ（IoU）0.86、AP 80.2を達成したのに対し、1000 mスケールではIoU 0.73、AP 38.3にとどまった。
• 特定のスランム地域（例：バンデープ、100 mスケールでAP 95.2）においても高い精度を示し、複雑な都市テクスチャへの強力な一般化性能を示した。
• マスク差分を用いた検証により、テスト領域において2005年から2018年にかけてスランム面積が35.25%増加したことが、変化検出パイプラインで正しく定量された。
• 不規則な形状や混合土地利用を含む、多様な集住地で、視覚的・空間的特徴を効果的に捉えることができた。
• 転移学習の活用により、限られたアノテート済みデータでも高い性能が達成されたことが、比較的小さなカスタムデータセットでも顕著に現れた。