[論文レビュー] MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos

Xiaoyu Zhu, Junwei Liang+1 more|arXiv (Cornell University)|Jun 30, 2020

Anomaly Detection Techniques and Applications参考文献 34被引用数 9

ひとこと要約

本稿では、ドローン航空写真動画を用いた自動的建物被害評価を目的としたマルチレベルインスタンスセグメンテーションネットワークMSNetを提案する。本研究では、インスタンスレベルの被害アノテーションを備えたISBDAデータセットを導入し、検出精度を向上させるために階層的領域提案ネットワーク（HRPN）と非教師付きスコアリファインメントネットワーク（SRN）を採用した。PolarMaskと比較してマスクAPで14.9%の絶対的向上を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we study the problem of efficiently assessing building damage after natural disasters like hurricanes, floods or fires, through aerial video analysis. We make two main contributions. The first contribution is a new dataset, consisting of user-generated aerial videos from social media with annotations of instance-level building damage masks. This provides the first benchmark for quantitative evaluation of models to assess building damage using aerial videos. The second contribution is a new model, namely MSNet, which contains novel region proposal network designs and an unsupervised score refinement network for confidence score calibration in both bounding box and mask branches. We show that our model achieves state-of-the-art results compared to previous methods in our dataset. We will release our data, models and code.

研究の動機と目的

• ドローン航空動画を用いた建物被害評価のためのベンチマークデータセットの不足に対処すること。
• 特に小さな、不規則な形状の被害インスタンスに対して、被害検出の精度を向上させること。
• ドローン動画シーケンスにおける視点の変化やフレーム間の一貫性の欠如に起因する不一致検出を処理すること。
• ボクシングボックスとマスク予測ブランチの両方における信頼度スコアのキャリブレーションを改善し、信頼性を高めること。
• 階層的な空間的関係性とフレーム間の一貫性を活用した、頑健な被害セグメンテーションを実現するモデルの開発

提案手法

• 建物被害の細分化されたインスタンスレベルアノテーションを備えた、ユーザーが生成したドローン航空動画から構成される、最初のデータセットであるISBDAを提案する。
• 建物とその被害部分の間の空間的階層性をモデル化することで検出性能を向上させる、階層的領域提案ネットワーク（HRPN）を導入する。
• フレーム間の一貫性を活用して、ボクシングボックスとマスクブランチの両方の信頼度スコアを非教師的にリファインメントする、非教師付きスコアリファインメントネットワーク（SRN）を採用する。
• 特徴抽出とマルチスケール検出のため、ResNet-50に特徴フュージョンネットワーク（FPN）を組み合わせたバックボーンを用いる。
• アンカー採番にIoUとインターセクションオーバーインターセクション（II）のメトリクスを適用し、特に小さな被害インスタンスにおいてIIが優れた性能を示した。
• 2段階のアプローチでMSNetを訓練する：最初にボクシングボックスで、次に被害マスクで、階層的構造を活用してマスク予測の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの被害アノテーションを備えたドローン航空動画の新しいデータセットは、被害評価モデルの定量的ベンチマークを可能にするか？
• RQ2 建物とその被害部分の間の階層的空間的関係性を活用することで、検出性能を向上させることは可能か？
• RQ3 ドローン動画シーケンスにおけるフレーム間の一貫性を活用することで、人為的アノテーションのスコアがなくても信頼度スコアのキャリブレーションを改善できるか？
• RQ4 アンカー採番にインターセクションオーバーインターセクション（II）を用いることで、従来のIoUに比べ、小さな被害インスタンスに対して優れた性能を発揮するか？
• RQ5 マルチレベルインスタンスセグメンテーションネットワークは、ドローン航空動画における建物被害セグメンテーションで最先端の性能を達成できるか？

主な発見

• MSNetはPolarMaskと比較して、マスク平均精度（AP）で14.9%の絶対的向上を達成し、ISBDAデータセット上で最先端の性能を示した。
• HRPNモジュールはベースライン比で4.3%のAP向上をもたらし、階層的空間的関係性をモデル化することの有効性を示した。
• SRNモジュールは信頼度スコアのリファインメントにより、ボクシングボックスおよびマスクブランチの両方で性能を向上させた。
• アンカー採番にIIメトリクスを用いることで、IoUに比べ2.7%のAP向上を達成した。特に小さな被害インスタンスでは、7.1%の絶対的向上が得られ、小スケールの異常をより効果的に処理できた。
• モデルはラベルの誤分類、誤検出、不完全なマスク、検出漏れを顕著に低減させ、ノイズが多く複雑な状況でも優れた性能を示した。
• 実証的検証により、MSNetがISBDAベンチマークにおいて、すべての評価指標で最先端のモデル、特にMask R-CNNの変種を上回ることが確認された。