[論文レビュー] xBD: A Dataset for Assessing Building Damage from Satellite Imagery

Ritwik Gupta, Richard Hosfelt+7 more|arXiv (Cornell University)|Nov 21, 2019

Remote-Sensing Image Classification参考文献 14被引用数 69

ひとこと要約

xBD は建物のフットプリント、マルチクラスの損傷ラベル、環境要因を含む大規模な多災害衛星画像データセットを提供し、人道支援の文脈で自動化された建物損傷評価を前進させます。xView 2 チャレンジは train/test/holdout 分割をサポートします。

ABSTRACT

We present xBD, a new, large-scale dataset for the advancement of change detection and building damage assessment for humanitarian assistance and disaster recovery research. Natural disaster response requires an accurate understanding of damaged buildings in an affected region. Current response strategies require in-person damage assessments within 24-48 hours of a disaster. Massive potential exists for using aerial imagery combined with computer vision algorithms to assess damage and reduce the potential danger to human life. In collaboration with multiple disaster response agencies, xBD provides pre- and post-event satellite imagery across a variety of disaster events with building polygons, ordinal labels of damage level, and corresponding satellite metadata. Furthermore, the dataset contains bounding boxes and labels for environmental factors such as fire, water, and smoke. xBD is the largest building damage assessment dataset to date, containing 850,736 building annotations across 45,362 km extsuperscript{2} of imagery.

研究の動機と目的

• 災害前後の画像と建物フットプリントおよび損傷ラベルを提供して自動評価を支援する大規模で多様なデータセットを提供する。
• 統一損傷スケール（Joint Damage Scale）を複数の災害タイプに適用可能として導入する。
• 人道支援と災害対応のためのコンピュータビジョンモデルの評価と開発を促進する。

提案手法

• Maxar/DigitalGlobe Open Data Program から多様な地理にわたり、Tier 1 が 11 件、Tier 3 が 8 件の災害イベントを選定する。
• 事前災害画像上の建物フットプリントを注釈し、事後災害画像上にオーバーレイして Joint Damage Scale ラベルを割り当てる。
• 損傷コンテキストに関連する環境要因の注釈（火災、煙、洪水水位等）を含める。
• 再投影差分によるポリゴンのドリフトを考慮して画像シフトを適用する。
• オープンリーダーボードとプライベート評価をサポートするために train/test/holdout 分割（80/10/10）を提供する。
• ベースラインモデルには局所化モデル（修正 U-Net）と分類モデル（ResNet50 + 小型 CNN）を組み合わせ、ordinal cross-entropy で訓練する。

実験結果

リサーチクエスチョン

• RQ1 衛星画像に適した統一的で多災害対応の損傷評価スケールをどのように作成できるか。
• RQ2 事前・事後の衛星画像から得られる建物損傷注釈の規模と多様性はどの程度か。
• RQ3 xBD でベースラインのコンピュータビジョンモデルは建物を局所化し、損傷レベルを効果的に分類できるか。
• RQ4 損傷ラベリングの品質が人道支援・災害対応での自動損傷評価にどのような影響を与えるか。
• RQ5 災害対応のリアルワールドな大規模衛星画像データセットを構築する際の実践的なデータ収集・注釈の課題は何か。

主な発見

Damage Type	F1 Score	Precision	Recall
No Damage	0.6631	0.8770	0.5330
Minor Damage	0.1435	0.1971	0.1128
Major Damage	0.0094	0.7259	0.0047
Destroyed	0.4657	0.5050	0.4321

• xBD には 19 の災害から 45,362 km2、850,736 件の建物ポリゴン、22,068 枚の画像が含まれる。
• データセットは 0 から 3 までの 4 段階の Joint Damage Scale を使用している（0: 損傷なし 〜 3: 破壊済み）。
• ベースラインの局所化は背景で IoU 0.97、建物で 0.66 を達成。
• ResNet50 バックボーンと小型 CNN を組み合わせた分類の全体加重 F1 スコアは 0.2654（4 クラスの損傷で）を達成。
• 損傷クラス分布は高度に不均衡で、No Damage が 313,033 ポリゴンで支配的。Minor 36,860; Major 29,904; Destroyed 31,560; Unclassified 14,011。
• モデルは No Damage に対して高い適合率（0.8770）を示した一方、Major/Minor クラスの再現率が低く、クラス不均衡と視覚的差異の微妙さが影響している。