[論文レビュー] An End-to-End Two-Phase Deep Learning-Based workflow to Segment Man-made Objects Around Reservoirs

Nayereh Hamidishad, Roberto Marcondes Cesar Junior|arXiv (Cornell University)|Feb 7, 2023

Flood Risk Assessment and Management被引用数 4

ひとこと要約

本稿では、Google Earth画像を用いたダム周辺の人工構造物をセグメンテーションするエンドツーエンドの2段階ディーブラーニングワークフローを提案する。まず、U-Net や SegNet モデルを用いてダムをセグメンテーションし、その後、浮遊植物を除去するためのポストプロセッシングを実施する。次に、ダムの周囲の領域を対象領域（RoIaR）として特定し、U-Net、FPN、LinkNet、PSPNet を用いて人工構造物をセグメンテーションする。第1段階では96.53%のF1スコア、第2段階では90.32%のF1スコアを達成した。

ABSTRACT

Reservoirs are fundamental infrastructures for the management of water resources. Constructions around them can negatively impact their quality. Such unauthorized constructions can be monitored by land cover mapping (LCM) remote sensing (RS) images. In this paper, we develop a new approach based on DL and image processing techniques for man-made object segmentation around the reservoirs. In order to segment man-made objects around the reservoirs in an end-to-end procedure, segmenting reservoirs and identifying the region of interest (RoI) around them are essential. In the proposed two-phase workflow, the reservoir is initially segmented using a DL model. A post-processing stage is proposed to remove errors such as floating vegetation. Next, the RoI around the reservoir (RoIaR) is identified using the proposed image processing techniques. Finally, the man-made objects in the RoIaR are segmented using a DL architecture. We trained the proposed workflow using collected Google Earth (GE) images of eight reservoirs in Brazil over two different years. The U-Net-based and SegNet-based architectures are trained to segment the reservoirs. To segment man-made objects in the RoIaR, we trained and evaluated four possible architectures, U-Net, FPN, LinkNet, and PSPNet. Although the collected data has a high diversity (for example, they belong to different states, seasons, resolutions, etc.), we achieved good performances in both phases. Furthermore, applying the proposed post-processing to the output of reservoir segmentation improves the precision in all studied reservoirs except two cases. We validated the prepared workflow with a reservoir dataset outside the training reservoirs. The results show high generalization ability of the prepared workflow.

研究の動機と目的

• リモートセンシング画像を用いて、ダム周辺の人工構造物をセグメンテーションするエンドツーエンドのディーブラーニングワークフローの開発を目的とする。
• 高分解能衛星画像を用いた自動的な土地被覆マッピングにより、ダム周辺の不正な建設物の検出という課題に取り組むことを目的とする。
• ポストプロセッシングと領域オブイントレスト（RoIaR）局在化を組み合わせた2段階アプローチを導入することで、セグメンテーションの正確性を向上させることを目的とする。
• トレーニングデータに含まれない未観測のダムにおいてもモデルの一般化性能を検証し、多様な地理的・季節的条件下での頑健性を確保することを目的とする。

提案手法

• 高分解能のGoogle Earth画像におけるダムの初期セマンティックセグメンテーションを、U-Net および SegNet アーキテクチャを用いて実行する。
• 形態的演算とスペクトルフィルタリングを用いて、浮遊植物などによる誤検出を特に除去するため、セグメンテーションエラーを是正するポストプロセッシング段階を適用する。
• 画像処理技術（例：膨張処理、輪郭検出）を用いて、ダムの周囲の領域を対象領域（RoIaR）として定義する。
• RoIaR内での人工構造物セグメンテーションに、U-Net、FPN、LinkNet、PSPNet の4つのディーブラーニングアーキテクチャを訓練・評価する。
• クラス不均衡を扱うために、Dice損失関数とFocal損失関数の組み合わせを用いてトレーニングを最適化し、過剰サンプリングを適用する。
• トレーニングデータおよび外部検証データセット（トレーニングセットに含まれないダムを含む）を用いて、F1スコアを指標にモデルのパフォーマンスを評価する。

Figure 1: Overview of the proposed analysis workflow.

実験結果

リサーチクエスチョン

• RQ1 多様な地理的・季節的条件下で、2段階のディーブラーニングワークフローは、ダム周辺の人工構造物を高精度にセグメンテーションできるか？
• RQ2 ポストプロセッシングは、特に浮遊植物のような誤検出（偽陽性）を除去する観点から、ダムセグメンテーションの精度をどの程度向上させるか？
• RQ3 全画像セグメンテーションと比較して、RoIaR局在化は人工構造物セグメンテーションの性能をどの程度向上させるか？
• RQ4 異なる損失関数とデータオーグメンテーション戦略は、不均衡な農村部の人工構造物データセットにおけるモデルパフォーマンスにどのように影響するか？
• RQ5 提案されたワークフローは、空間分解能、大気条件、土地被覆タイプが異なる未観測のダムに対しても、良好に一般化できるか？

主な発見

• 第1段階のダムセグメンテーションでは、テストセットで最高96.53%のF1スコアを達成し、水体の同定に高い正確性を示した。
• ポストプロセッシングにより、2つのダムを除くすべてのダムで精度が向上し、外部検証セットではF1スコアが94.68%に上昇した。
• 第2段階の人工構造物セグメンテーションでは、VGG-16バックボーンを搭載したPSPNetアーキテクチャを用いて、最高90.32%のF1スコアを達成した。
• Dice損失関数とFocal損失関数を併用することで、不均衡データに対するパフォーマンスが顕著に向上し、Focal損失関数単体よりも優れた性能を示した。
• 過剰サンプリングにより、特にレアな農村部の人工構造物クラスのセグメンテーション結果がさらに向上した。
• 未観測のダム（Barra）に対してもワークフローが良好に一般化され、第1段階で92.54%、第2段階で88.11%のF1スコアを達成し、頑健性と転送可能性を確認した。

Figure 2: Visualization of the studied reservoirs locations.