[論文レビュー] Development of drought early warning system for the Alps

Clement Wang, Antoine Debouchage+3 more|arXiv (Cornell University)|Jan 1, 2023

Leaf Properties and Growth Measurement被引用数 3

ひとこと要約

本稿では、雲除去、合成的変化検出データセット生成、テキスト条件付き画像補填を用いた都市再計画の3つの地球観測用途に対して、拡散型生成モデルを用いることを提案する。RePaintおよび連結ベースの補填変種を含むノイズ除去拡散モデルを、Sentinel-2およびOSCDデータセット上で訓練し、雲除去においてはSSIMが0.691、PSNRが24.593 dBを達成した。また、都市計画用途における現実的で制御可能な画像合成を実証した。

ABSTRACT

<p>Increase in total amount of waste produced at global level has serious ecosystem implications, from health risks for individuals to environmental damage. This increase is directly correlated with the urban development in the past decades, increase in consumption of goods and services or in large industrial activities. In EMERITUS project, we aim to support waste management activities with the help of Earth Observation (EO) driven products derived from Sentinel 2 using deep learning segmentation approaches. To achieve a segmentation model that can properly identify waste dumps, where training datasets are missing, manual labelling and various models testing was implied. Using tools such as Optuna, a more straightforward approach is used for hyperparameters search. It is observed that the proposed model identifies waste dumps locations in different Sentinel 2 tiles, with main false positives in areas with very high spectral mixing (e.g. parking lots).</p>

研究の動機と目的

• 衛星画像処理における主な課題に取り組むことで、拡散モデルが地球観測応用に適用可能であることを示すこと。
• 雲による遮蔽を受ける画像の限界を、拡散ベースの補填アプローチにより克服すること。
• 教師ありリモートセンシングタスクにおけるデータ不足を軽減するため、現実的でリアルな合成変化検出データセットを生成すること。
• テキスト条件付き補填を用いて、高解像度空中画像から直感的で現実的な都市再計画の可視化を可能にすること。
• 実世界のデータセットを用いて、多様なEO応用における拡散モデルの実現可能性と性能を検証すること。

提案手法

• 8,000枚のSentinel-2 RGB画像（64×64解像度）を用いて、250エポック、バッチサイズ128で、4層のU-Netベースの拡散モデルを訓練し、RePaint補填を用いて雲除去を実行した。
• ノイズ除去拡散プロセスを採用し、学習済みのノイズ予測子ϵθを用いて、ノイズが付加された潜在表現から段階的にノイズを除去する。逆方向プロセスはµθおよびσtで定義される。
• 各逆方向ステップで生成されたサンプルとマスクされた入力画像を混合する、変更を加えたRePaintのバリエーションを用い、非条件付き拡散モデルを再利用した。
• 連結ベースの補填法を採用し、モデルの入力に復元済み画像、既知の画像、およびマスクを含め、条件付き生成を可能にした。
• LAION-5Bを微調整して、都市再計画のためのテキスト条件付き画像編集を生成するStableDiffusionベースのモデルを用意した。マスク領域とユーザーが提供したプロンプトを用いた。
• OSCDデータセットのパッチ（50%オーバーラップ）を用い、訓練済みの拡散補填を用いて、元の変化領域をモデル生成コンテンツに置き換えることで、合成変化検出ペアを生成した。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、高品質な知覚的品質で、衛星画像における雲による遮蔽領域を効果的に再構築できるか？
• RQ2 拡散モデルは、合成的変化検出データセットのための現実的で多様かつ構造的に整合性のある変化領域をどの程度生成できるか？
• RQ3 テキスト条件付き拡散補填は、高解像度空中画像から直感的で現実的な都市再計画の可視化を可能にするか？
• RQ4 地球観測タスクにおいて、異なる拡散ベース補填変種（RePaint対連結ベース）の性能と適用可能性はどのように比較できるか？
• RQ5 地球観測データに微調整された市販の拡散モデルは、妥当な都市設計の代替案を生成できるか？

主な発見

• 提案された雲除去手法は、Sentinel-2 Cloud Mask Catalogueにおいて、構造的類似性指数（SSIM）0.691およびピークノイズ比（PSNR）24.593 dBを達成した。
• 実際の雲による遮蔽領域が、視覚的に妥当なテクスチャと空間的一致性を保ちながら再構築されたことが、定性的なサンプルからも示された。
• 合成変化検出データセットが生成され、DOI 10.5281/zenodo.8144237を介して公開された。これにより、教師あり変化検出パイプラインの訓練が向上した。
• 拡散プロセスの変動的性質と元のマスクの使用により、生成された変化領域は周囲のシーンと構造的に整合性を保った。
• StableDiffusionを用いたテキスト条件付き補填により、駐車場を歩行者専用区域やプールに置き換えるなど、現実的な都市再計画の可視化が得られ、実画像と生成画像の間で滑らかな遷移が実現した。
• 市販モデルを用いた都市再計画の応用は実用的であることが示されたが、タスク固有の微調整によりさらなる性能向上が可能である。