[論文レビュー] Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark

Fang Xu, Yilei Shi+3 more|arXiv (Cornell University)|Jan 9, 2023

Advanced Image Fusion Techniques被引用数 6

ひとこと要約

本稿では、マルチモーダル（光学およびSAR）およびマルチリソリューションデータ統合を用いた高分解能雲除去のための新規ベンチマークデータセットであるPlanet-CRを紹介する。また、再構成中に特徴量を暗黙的に整合化することで、雲なし画像の回復を向上させる方法であるAlign-CRを提案し、新ベンチマーク上での視覚的および意味的再構成品質の両面で最先端の性能を達成した。

ABSTRACT

Cloud removal is a significant and challenging problem in remote sensing, and in recent years, there have been notable advancements in this area. However, two major issues remain hindering the development of cloud removal: the unavailability of high-resolution imagery for existing datasets and the absence of evaluation regarding the semantic meaningfulness of the generated structures. In this paper, we introduce M3R-CR, a benchmark dataset for high-resolution Cloud Removal with Multi-Modal and Multi-Resolution data fusion. With this dataset, we consider the problem of cloud removal in high-resolution optical remote sensing imagery by integrating multi-modal and multi-resolution information. In this context, we have to take into account the alignment errors caused by the multi-resolution nature, along with the more pronounced misalignment issues in high-resolution images due to inherent imaging mechanism differences and other factors. Existing multi-modal data fusion based methods, which assume the image pairs are aligned accurately at pixel-level, are thus not appropriate for this problem. To this end, we design a new baseline named Align-CR to perform the low-resolution SAR image guided high-resolution optical image cloud removal. It gradually warps and fuses the features of the multi-modal and multi-resolution data during the reconstruction process, effectively mitigating concerns associated with misalignment. In the experiments, we evaluate the performance of cloud removal by analyzing the quality of visually pleasing textures using image reconstruction metrics and further analyze the generation of semantically meaningful structures using a well-established semantic segmentation task. The proposed Align-CR method is superior to other baseline methods in both areas.

研究の動機と目的

• 光学およびSARデータがペアで提供された、高分解能で世界中に分布する雲除去データセットの不足に対処すること。
• 意味的構造回復のためのピクセルレベルの土地被覆アノテーションを統合することで、視覚的指標を超えた評価を可能にすること。
• 画像がピクセル単位で整合化されていない状況においても、マルチモーダルおよびマルチリソリューションデータを効果的に統合する強力な手法を開発すること。
• 視覚的および意味的評価を両立できる高分解能雲除去のための新しいベースラインおよびベンチマークを確立すること。
• 現在の視覚的指標が意味的整合性を十分に捉えていないことの限界を指摘し、意味的整合性を重視する損失関数の導入を提唱すること。

提案手法

• 著者らは、表面の変化を最小限に抑えるために、ほぼ同時刻に撮影された雲なしおよび曇りの付いた3m解像度のPlanetScope光学画像を収集した。
• 雲を透過するモダリティとして、SARデータ（Sentinel-1）を統合し、雲に覆われた領域に対して構造的事前知識を提供した。
• Planet-CRデータセットには、WorldCoverからのピクセルレベルの土地被覆アノテーションが含まれており、意味的評価が可能である。
• 提案されたAlign-CR手法は、低解像度のSARと高解像度の光学画像の間で明示的な空間登録を避けることで、再構成中に特徴量を暗黙的に整合化する。
• Align-CRは、クロスアテンションモジュールを備えたU-Netベースのジェネレータを用い、マルチモーダル特徴量を統合し、高解像度の雲なし画像を再構成する。
• この手法は、ピクセルレベルの再構成を目的としたL1損失と、事前学習済みの土地被覆セグメンテーションヘッドを用いた意味的整合性損失の組み合わせで訓練された。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルおよびマルチリソリューションデータ統合は、現在の視覚的品質指標を超えて、高分解能雲除去を著しく改善できるか？
• RQ2 深層学習フレームワークにおける暗黙的特徴量整合化は、SARと光学画像がずれている状況において、明示的な空間登録と比較してどのように性能を発揮するか？
• RQ3 現在の視覚的指標（例：PSNR、SSIM）は、雲除去タスクにおける意味的再構成品質とどの程度相関しているか？
• RQ4 視覚的忠実度と意味的整合性の両方をバランスさせる統合損失関数は、より良い雲なし画像回復を実現できるか？
• RQ5 入力に雲なし領域が存在する割合が、意味的正確性の観点から雲除去モデルの性能に与える影響はどの程度か？

主な発見

• Align-CRは、全雲被覆レベルにおいて視覚的回復品質（PSNR、SSIMで測定）および意味的回復品質（mIoUで測定）の両面で最高の性能を達成した。
• mIoUの結果から、Align-CRはベースライン手法を上回っており、特に整合化に使用可能な雲なし参照領域が多い場合に顕著に優位性を示した。
• 視覚的指標が優れているにもかかわらず、SAR-Opt-cGANはMcGANやSpA GANに比べて低いmIoUを示し、視覚的・意味的忠実度の間の乖離が顕著に現れた。
• 視覚的および意味的指標の乖離は、特に雲被覆率が80–100％の高雲被覆状況で顕著であり、この状況では視覚的指標だけでは意味的劣化を反映していないことが明らかになった。
• アブレーションスタディの結果、暗黙的整合化（Align-CR）が視覚的および意味的指標の両方で、非整合化学習（w/o Align）を常に上回ることが確認された。
• ベンチマークの結果から、現在の視覚的指標は、下流の意味的タスクにおける雲除去手法の評価に不十分であることが判明し、意味的整合性を重視する損失関数の導入が不可欠であると示された。