[論文レビュー] Flood Segmentation on Sentinel-1 SAR Imagery with Semi-Supervised Learning

Sayak Paul, Siddha Ganju|ArXiv.org|Jul 18, 2021

Flood Risk Assessment and Management被引用数 12

ひとこと要約

本論文は、Sentinel-1 SAR画像における洪水セグメンテーションの性能向上を目的として、U-Netアンサンブルを用いた半教師付きの偽ラベル化フレームワークを提案する。非ラベルデータから繰り返し高信頼度の偽ラベルを生成・フィルタリングし、手動ラベルデータと統合した後、CRFの後処理を施すことで、新しいSOTAのIoU 0.7654を達成し、0.60のベースラインを著しく上回った。

ABSTRACT

Floods wreak havoc throughout the world, causing billions of dollars in damages, and uprooting communities, ecosystems and economies. The NASA Impact Flood Detection competition tasked participants with predicting flooded pixels after training with synthetic aperture radar (SAR) images in a supervised setting. We propose a semi-supervised learning pseudo-labeling scheme that derives confidence estimates from U-Net ensembles, progressively improving accuracy. Concretely, we use a cyclical approach involving multiple stages (1) training an ensemble model of multiple U-Net architectures with the provided high confidence hand-labeled data and, generated pseudo labels or low confidence labels on the entire unlabeled test dataset, and then, (2) filter out quality generated labels and, (3) combine the generated labels with the previously available high confidence hand-labeled dataset. This assimilated dataset is used for the next round of training ensemble models and the cyclical process is repeated until the performance improvement plateaus. We post process our results with Conditional Random Fields. Our approach sets a new state-of-the-art on the Sentinel-1 dataset with 0.7654 IoU, an impressive improvement over the 0.60 IoU baseline. Our method, which we release with all the code and models, can also be used as an open science benchmark for the Sentinel-1 dataset.

研究の動機と目的

• 大規模な非ラベル付きSAR画像を活用することで、リモートセンシングにおけるラベル付き洪水データの限界を克服すること。
• 高価な手動アノテーションに依存するのを減らすために、半教師付き学習を活用し、Sentinel-1 SARデータにおける洪水セグメンテーションの精度を向上させること。
• 不確実性推定と後処理を備えたスケーラブルでリアルタイム推論パイプラインを構築し、災害対応への耐性を高めること。
• オープンサイエンスの原則に則り、Sentinel-1データセットにおける洪水セグメンテーションの新しいSOTAベンチマークを確立すること。

提案手法

• 高信頼度の手動ラベルデータに基づきU-Netアーキテクチャのアンサンブルを学習し、全非ラベルテストセットに対して偽ラベルを生成する。
• アンサンブルの不一致に基づく信頼度推定を用いて、偽ラベルをフィルタリングし、高品質な予測のみを保持する。
• 元のラベルデータとフィルタリング済みの偽ラベルデータを組み合わせたデータセットを用いて、サイクル的リファインメントプロセスでアンサンブルモデルを繰り返し再訓練する。
• 推論時増強（D4対称性）を適用し、空間的整合性を向上させるために予測結果に条件付きランダムフィールド（CRF）を後処理として適用する。
• 混合精度学習と4つのV100 GPUを用いた分散データ並列処理により、学習を高速化する。
• リアルタイムデプロイメントを可能にするために、Rayフレームワークを活用し、CRF推論を並列化する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータにおけるSentinel-1 SAR画像の洪水セグメンテーション性能を、偽ラベル化を用いた半教師付き学習で著しく向上させることができるか？
• RQ2 アンサンブルベースの信頼度推定は、リソースが限られたラベル付け環境において、偽ラベルの信頼性をどのように向上させるか？
• RQ3 フィルタリング済みの偽ラベルを用いた繰り返しのリファインメントプロセスは、多様な地理的領域にわたるモデルの一般化性能をどの程度向上させるか？
• RQ4 CRFの後処理と推論時増強は、さらに性能と空間的一致性を向上させるか？
• RQ5 提案手法は、運用上の災害対応に応用可能でスケーラブルなリアルタイム推論が可能か？

主な発見

• 提案された半教師付きフレームワークは、Sentinel-1洪水セグメンテーションベンチマークで、新しいSOTAの交差率（IoU）0.7654を達成した。
• ベースラインモデルのIoU 0.60から27%以上も向上した。これは、偽ラベル化による顕著な性能向上を示している。
• 推論時増強（TTA）は、アブレーションスタディにおいてIoUを5%向上させ、性能を0.52から0.57に改善した。
• CRFの後処理により、境界領域の微調整とノイズ低減が顕著に向上し、予測品質が向上した。
• 推論パイプラインはリアルタイムデプロイメントを最適化しており、並列化されたCRF推論により低遅延処理が可能になった。
• 強力なデータオーグメンテーションとアンサンブルの組み合わせにより、農業的地帯や都市部など多様な地理的領域にわたる一般化性能を示した。