[論文レビュー] Satellite Image Semantic Segmentation

Éric Guérin, Killian Oechslin+2 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Image and Video Retrieval Techniques参考文献 1被引用数 5

ひとこと要約

本論文は、IGNのオープンなフランス地理データから抽出したカスタムデータセットを用いて、スイントランスフォーマー・アーキテクチャを用いた衛星画像の意味的セグメンテーション手法を提案する。モデルは1000×1000ピクセルのタイルデータセット上で54.22%の平均交差率（mIoU）を達成し、再現可能性およびカントアル地方のような新規地域への一般化を支援するため、公開された重みとデータを提供している。

ABSTRACT

In this paper, we propose a method for the automatic semantic segmentation of satellite images into six classes (sparse forest, dense forest, moor, herbaceous formation, building, and road). We rely on Swin Transformer architecture and build the dataset from IGN open data. We report quantitative and qualitative segmentation results on this dataset and discuss strengths and limitations. The dataset and the trained model are made publicly available.

研究の動機と目的

• 深層学習を用いて、薄い森林、濃い森林、モール、草本植物形成、建物、道路という6つの土地被覆クラスに衛星画像を自動的に意味的セグメンテーションすること。
• 事前にセグメンテーションされた衛星データの不足に起因する課題に対処するため、オープンなIGN地理データから新しいデータセットを構築すること。
• デジタルエンターテインメント分野における仮想世界生成を向上させるために、衛星画像からの自動的かつデータ駆動型の土地被覆ラベリングを可能にすること。
• 訓練ドメイン外の地域（例：カントアル県）の衛星データに対して、訓練済みモデルの一般化能力を評価すること。

提案手法

• 本手法は、スイントランスフォーマーのバックボーンを採用し、シフトドウインドウ自己注意機構を用いて、高解像度衛星画像内の長距離および局所的な空間的依存関係を効率的に捉える。
• IGNのオープンデータからカスタムデータセットを構築した。これには、BD Ortho（衛星画像）、BD Foret v2（植生）、BD Topo（建物および道路）が含まれ、すべて50cm/ピクセルに再サンプリングされた。
• ベクトルベースのデータセット（BD ForetおよびBD Topo）は、GDALのgdal_rasterizeツールを用いて衛星画像解像度に合わせてラスタライズされた。
• 最終的なデータセットは、ハイ・オルヌーズ地域から得られた600枚の空間的に多様な1000×1000ピクセルのタイル（500m × 500m）から構成され、クラスラベルを統合することで複雑さを軽減し、セグメンテーションの正確性を向上させた。
• クラスの不均衡に対処するため、トレーニング中にクラスウェイトを適用し、0.5から1.5の間で経験的に設定された値が使用された。
• UPerNetヘッドを用い、Swin-Largeバックボーンを採用。ImageNet-22Kの事前学習を用い、コサイン学習率スケジュールに従い、60,000イテレーションでトレーニングされた。

実験結果

リサーチクエスチョン

• RQ1 限られたアノテーション付きデータのもとで、スイントランスフォーマーを基盤とするモデルが、フランスの多様な地理的地域にわたり、衛星画像の意味的セグメンテーションを安定して達成できるか？
• RQ2 ハイ・オルヌーズ地域のデータのみで学習させたモデルが、カントアルのような新規地域（例：カントアル県）の衛星画像に対してどの程度一般化できるか？
• RQ3 衛星画像と元のベクトルデータとの間の時間的不一致が、セグメンテーション精度にどの程度影響を及えるか？
• RQ4 クラスの不均衡および欠損データ（黒ピクセル）が、モデルの性能およびトレーニングの安定性に与える影響はどの程度か？
• RQ5 複数のオープンソース地理データセット（例：BD Ortho、BD Foret、BD Topo）の統合により、土地被覆セグメンテーションのための信頼性がありスケーラブルなトレーニングデータセットを構築できるか？

主な発見

• 384×384のクロップサイズと60,000イテレーションのトレーニングを用いた検証セットにおいて、モデルは平均交差率（mIoU）54.22%を達成した。
• モデルは未学習地域に対しても妥当な一般化を示しており、ハイ・オルヌーズ地域とは異なる景観および画像品質を持つカントアル県の衛星画像に対しても、セグメンテーション結果が良好に得られた。
• 道路セグメンテーションは依然として課題であり、木による隠蔽（遮蔽）のため、線形特徴が正しく検出されない場合がある。
• 衛星画像とベクトルベースの正解（例：BD Foret）との間の時間的不一致により、誤ラベリングが生じ、たとえば濃い森林が存在しない場所に濃い森林とラベル付けされる場合がある。
• クラスバランスウェイトの使用により、濃い森林やモールといった代表度が低いクラスのトレーニングの安定性と性能が顕著に向上した。
• データセットおよびトレーニング済みモデルは公開されており、再現可能性および自動衛星画像セグメンテーション分野におけるさらなる研究を可能としている。