[論文レビュー] Conditional Denoising of Remote Sensing Imagery Using Cycle-Consistent Deep Generative Models

M. Yu. Zotov, Jevgenij Gamper|arXiv (Cornell University)|Oct 31, 2019

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、雲透過性のあるスペクトルバンドを用いて、曇りの発生したSentinel-2リモートセンシング画像のノイズ除去を目的としたサイクル整合性のある条件付き生成モデルを提案する。敵対的学習と分類器特徴空間におけるFrećhet距離ベースの評価を活用することで、最先端の土地被覆分類性能を達成し、雲および影領域の効果的なインpaintingを示したが、実用上はモード崩壊の問題が残存している。

ABSTRACT

The potential of using remote sensing imagery for environmental modelling and for providing real time support to humanitarian operations such as hurricane relief efforts is well established. These applications are substantially affected by missing data due to non-structural noise such as clouds, shadows and other atmospheric effects. In this work we probe the potential of applying a cycle-consistent latent variable deep generative model (DGM) for denoising cloudy Sentinel-2 observations conditioned on the information in cloud penetrating bands. We adapt the recently proposed Fr\\'{e}chet Distance metric to remote sensing images for evaluating performance of the generator, demonstrate the potential of DGMs for conditional denoising, and discuss future directions as well as the limitations of DGMs in Earth science and humanitarian applications.

研究の動機と目的

• 高分解能リモートセンシング画像における雲および影に起因するデータ損失という、環境モニタリングや人道的支援において深刻な障害を引き起こす問題に対処すること。
• 雲透過スペクトルバンドを活用して、曇りの観測から晴れ時における地表面反射率を再構築する条件付き生成モデルの開発。
• 訓練済み画像分類器の特徴空間におけるFrećhet距離に基づく新規メトリクスを用いて、生成画像の忠実度を評価し、生成画像品質の堅牢な評価を可能にすること。
• ノイズ除去画像を用いたBigEarthNetデータセットにおける土地被覆分類の最先端性能の実証。
• 地球科学分野における深層生成モデルの限界、特にモード崩壊と分布シフトを特定し、今後の改善方向性を提案すること。

提案手法

• 本手法は、曇り画像から晴れ画像へのマッピングと、逆に晴れ画像から曇り画像へのマッピングを実行する2組の生成器・識別器ペアを備えた拡張されたサイクル整合性GAN（Aug CycleGAN）を採用し、サイクル整合性を強制する。
• 雲および影の位置をモデル化するための潜在変数を導入し、生成器は観測された雲透過スペクトルバンドに条件付けられて再構築をガイドする。
• 訓練の安定化とGANの収束性向上を目的として、畳み込み層にスペクトル正規化を適用する。
• BigEarthNetデータセットからのペア化された曇り画像および晴れ画像のミニバッチを用いてモデルを学習し、再構築画像のL1損失を用いてサイクル整合性を強制する。
• 実画像と生成画像の分布の類似性を評価するため、事前学習済みの18層ResNetを特徴抽出器として用い、分類器の特徴空間におけるFrećhet距離を計算する。
• モデル評価にはFrećhet距離とInceptionスコアの両方を用い、FDが誤解を招く場合に備えて、モード崩壊の検出に活用する。

実験結果

リサーチクエスチョン

• RQ1 サイクル整合性のある条件付き生成モデルは、雲透過スペクトルバンドを活用することで、曇りのSentinel-2画像から晴れ時における地表面反射率を効果的に再構築できるか？
• RQ2 分類器特徴空間におけるFrećhet距離メトリクスは、人間の知覚や下流タスクの性能と比較して、生成画像の忠実度をどの程度的確に評価できるか？
• RQ3 モード崩壊は、ノイズ除去リモートセンシング画像の品質にどの程度影響を及ぼすか？また、マルチラベル設定において、Inceptionスコアのような代替メトリクスは、この問題をよりよく捉えることができるか？
• RQ4 本手法は、既存の雲マスクやノイズ除去技術と比較して、下流の土地被覆分類精度において優れているか？
• RQ5 特に分布シフトとクラス不均衡の観点から、地球観測応用分野における深層生成モデルの主な限界は何か？

主な発見

• ノイズ除去画像を用いた場合、BigEarthNetデータセットにおける土地被覆分類タスクで本モデルは最先端の性能を達成し、下流タスクへの応用の有効性を示した。
• 分類器特徴空間におけるFrećhet距離メトリクスは、実画像と生成画像の分布類似性を的確に捉えており、信頼性の高い評価ベンチマークを提供した。
• 低スコアのFrećhet距離にもかかわらず、一部のモデルは雲の代わりに薄茶色のインpaint領域を生成するなど、モード崩壊を示した。これは、FDのみではサンプルの多様性を十分に評価できないことを示唆している。
• クラス多様性を測るInceptionスコアは、本文脈においてFrećhet距離よりもモード崩壊の指標として優れており、複数のメトリクスによる評価の必要性を示唆している。
• モデルは雲および影の下の土地被覆特徴（例：図[1,3]、[1,1]、[3,3]）を効果的に再構築できたが、厚い雲カバーの場合は苦労が見られた（例：[2,1]および[1,2]）。
• 画像[3,2]における誤った翻訳事例は、一般化の難しさを浮き彫りにし、より優れたアーキテクチャ設計と訓練戦略の必要性を示唆している。