[論文レビュー] UnCRtainTS: Uncertainty Quantification for Cloud Removal in Optical Satellite Time Series

Patrick Ebel, Vivien Sainte Fare Garnot+3 more|arXiv (Cornell University)|Apr 11, 2023

Advanced Image Fusion Techniques被引用数 5

ひとこと要約

UnCRtainTSは、統合的多変量不確実性評価を備えた、マルチタイムスケール光学衛星雲除去のための新規なアテンションベースのディーブラーニングアーキテクチャを提案する。ピクセル単位のアンビエント不確実性を画像再構成と併せて予測することで、SEN12MS-CR-TSで最先端の性能を達成し、良好にキャリブレートされた不確実性推定により信頼性の高い品質管理を可能にする。

ABSTRACT

Clouds and haze often occlude optical satellite images, hindering continuous, dense monitoring of the Earth's surface. Although modern deep learning methods can implicitly learn to ignore such occlusions, explicit cloud removal as pre-processing enables manual interpretation and allows training models when only few annotations are available. Cloud removal is challenging due to the wide range of occlusion scenarios -- from scenes partially visible through haze, to completely opaque cloud coverage. Furthermore, integrating reconstructed images in downstream applications would greatly benefit from trustworthy quality assessment. In this paper, we introduce UnCRtainTS, a method for multi-temporal cloud removal combining a novel attention-based architecture, and a formulation for multivariate uncertainty prediction. These two components combined set a new state-of-the-art performance in terms of image reconstruction on two public cloud removal datasets. Additionally, we show how the well-calibrated predicted uncertainties enable a precise control of the reconstruction quality.

研究の動機と目的

• 時間的汚染を受けた時系列から雲なし光学衛星画像を再構成する課題に、信頼性の高い品質評価を併せた対応を図ること。
• 衛星画像再構成に多変量不確実性評価を統合し、信頼性に配慮した下流アプリケーションを可能にすること。
• フル解像度特徴マップとアテンションベースの時系列符号化を活用することで、再構成の忠実度と不確実性のキャリブレーションを向上させること。
• 入力時系列長さと補助的SARデータが再構成品質と不確実性の信頼性に与える影響を評価すること。
• 不確実性予測が、低品質な再構成を特定し、現実世界の画像ダイナミクス（一時的現象など）を反映できることを実証すること。

提案手法

• ダウンサンプリングを回避するフル解像度特徴マップ上で動作する新規なアテンションベースのニューラルネットワークアーキテクチャを提案し、空間的詳細を保持する。
• 多変量アンビエント不確実性をモデル化するための対角共分散行列を採用し、負の対数尤度損失を用いてトレーニング中にピクセル単位の分散を予測可能にする。
• 不確実性予測とディープアンサンブルアプローチを組み合わせることで、エピステミック不確実性を推定し、全体的な不確実性キャリブレーションを向上させる。
• 光学データとSARデータのマルチモodal入力を採用し、再構成のロバスト性を高め、不確実性を低減する。
• ピクセル単位のNLLと高周波成分回復のための知覚損失を組み合わせたハイブリッド損失関数を用いてモデルをトレーニングする。
• 長距離時系列依存性を符号化するための時系列自己アテンションを適用し、波や変化する作物といった一時的特徴のより良いモデリングを可能にする。

Figure 1 : Overview: Our attention-based UnCRtainTS architecture predicts a single cloud-free image from a sequence of cloudy observations. For each reconstructed pixel, our method also estimates the aleatoric uncertainty of the prediction. Note how higher uncertainties (in red) are associated with

実験結果

リサーチクエスチョン

• RQ1 多変量不確実性評価は、マルチタイムスケール設定下での雲除去衛星画像の信頼性を向上させ得るか？
• RQ2 不確実性推定の導入が、再構成済み衛星画像の解釈可能性と信頼性にどのように影響するか？
• RQ3 より長い入力時系列長さは、画像再構成品質と不確実性キャリブレーションの両方を向上させるか？
• RQ4 補助的SARデータの導入が、不確実性の低減と再構成性能の向上にどの程度寄与するか？
• RQ5 不確実性マップは、恒常的遮蔽、雲の影、波打つ波や成長する作物といった動的特徴を効果的に特定できるか？

主な発見

• UnCRtainTSは、T=4の入力時系列ポイントを用いたテストセットにおいて、SEN12MS-CR-TSベンチマークで最先端の性能を達成し、PSNRが28.41、SSIMが0.875を記録した。
• ピクセルレベルの不確実性キャリブレーション誤差（UCE）を0.001、画像レベルのUCEを0.002まで低減し、良好にキャリブレートされた不確実性推定であることを示した。
• T=4の長い入力時系列は、T=2やT=3に比べて、より優れた再構成品質と改善された不確実性キャリブレーションをもたらした。
• SARデータを除外すると、画像レベルおよびピクセルレベルのUCEが上昇し、SARが再構成の信頼性を向上させることを示した。
• 不確実性マップは、雲の影、恒常的遮蔽、波打つ波や変化する作物色といった動的特徴を効果的に強調した。
• モデルの不確実性予測は、実際の再構成誤差と強く相関しており、下流アプリケーションにおける信頼性の高い品質管理を可能にした。

Figure 2 : UnCRtainTS. The network consists of three main parts, applied along a main branch of MBConv blocks [ 60 ] that is processing feature maps at full input resolution: First, an encoder is applied in parallel to the $T$ time points. Then, an attention-based temporal aggregator computes attent