[論文レビュー] Thick Cloud Removal of Remote Sensing Images Using Temporal Smoothness and Sparsity Regularized Tensor Optimization

Chenxi Duan|arXiv (Cornell University)|Oct 20, 2020

Image Enhancement Techniques参考文献 45被引用数 39

ひとこと要約

本稿では、時間的滑らかさと空間的スパarsityを活用することで、厚い雲および雲の影を除去するための新規なテンソル最適化手法TSSTOを提案する。ADMMフレームワーク内での一方向全 variation（UTV）とスパarsity正則化を適用することで、大規模な雲被覆領域に対しても、詳細な情報と波長整合性を保った画像を効果的に回復できる。本手法は、多様なセンサーや解像度において、従来手法を上回る視覚的品質と定量的指標を達成している。

ABSTRACT

In remote sensing images, the presence of thick cloud accompanying shadow can affect the quality of subsequent processing and limit the scenarios of application. Hence, to make good use of such images, it is indispensable to remove the thick cloud and cloud shadow as well as recover the cloud-contaminated pixels. Generally, the thick cloud and cloud shadow element are not only sparse but also smooth along the spatial horizontal and vertical direction, while the clean element is smooth along the temporal direction. Guided by the above insight, a novel thick cloud removal method for remote sensing images based on temporal smoothness and sparsity regularized tensor optimization (TSSTO) is proposed in this paper. Firstly, the sparsity norm is utilized to boost the sparsity of the cloud and cloud shadow element, and unidirectional total variation (UTV) regularizers are applied to ensure the smoothness in different directions. Then, through thresholding, the cloud mask and the cloud shadow mask can be acquired and used to guide the substitution. Finally, the reference image is selected to reconstruct details of the repairing area. A series of experiments are conducted both on simulated and real cloud-contaminated images from different sensors and with different resolutions, and the results demonstrate the potential of the proposed TSSTO method for removing cloud and cloud shadow from both qualitative and quantitative viewpoints.

研究の動機と目的

• 光学的リモートセンシング画像における厚い雲および雲の影による汚染の課題に対処すること。これは、画像の有用性を著しく低下させ、その後続の応用を制限する。
• 表面情報の欠落を効果的に回復させるとともに、波長整合性と空間的詳細を保持する雲除去手法の開発。
• 時系列画像間の時間的整合性と雲・影の空間的スパarsityを活用して、再構成の忠実度を向上させること。
• 特に大規模な雲被覆領域において顕著なアーチファクトやステッチ痕跡を最小限に抑えること。
• 高品質な入力に依存するのを減らすために、統一されたテンソルフレームワークでスペクトル的・空間的・時間的情報を統合すること。

提案手法

• テンソル最適化を用いて、雲および雲の影の除去を低ランク＋スパーステンソル分解問題として定式化する。
• 雲・影要素における水平および垂直方向の滑らかさを強制するために、一方向全 variation（UTV）正則化を適用する。
• 雲および雲の影成分にスパarsityノルムを課して、構造的コンactnessを向上させる。
• 綺麗な画像成分における時間的全 variation 正則化を適用して、時間的滑らかさを保証する。
• 収束が保証される交替方向乗数法（ADMM）を用いて最適化モデルを解く。
• 参照画像データを用いて、回復された雲および影領域における微細な詳細を回復するための情報クローン技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 テンソルベースの最適化フレームワークは、波長整合性と空間的忠実度を保ちながら、リモートセンシング画像における大規模で厚い雲被覆領域を効果的に回復できるか？
• RQ2 一方向全 variation とスパarsity正則化を組み込むことで、標準的な低ランクまたは行列ベースの手法と比較して、雲および雲の影の検出と再構成がどの程度向上するか？
• RQ3 時系列画像間の時間的滑らかさが、雲除去結果の正確性と一貫性をどの程度向上させるか？
• RQ4 視覚的品質およびSD、FD、IEなどの定量的指標において、提案手法TSSTOは最先端手法と比較してどの程度優れているか？
• RQ5 本手法は、センサーや画像解像度の違いに関わらず、センサーに特化したチューニングを必要とせずに、性能を維持できるか？

主な発見

• TSSTOは、模擬データ（図14）で構造的差分（SD）が5.726011、実データ（図16）で22.8344を達成し、優れた構造的保持を示した。
• 模擬データでスペクトル距離（FD）が1789.9368、実データで2615.7837を達成し、強い波長整合性を示した。
• 模擬データで画像エントロピー（IE）が14.8556、実データで6.2769を達成し、テクスチャおよび詳細回復の優位性を示した。
• 視覚的比較では、特に川や都市部のような複雑な領域において、最も自然な外観で、最小限のステッチアーチファクトを生成した。
• TSSTOを用いた雲および雲の影の検出は、MFCおよびMAJAプロセッサよりもより正確なマスクを生成し、影を明るい領域と誤分類するのを低減した。
• 雲のサイズが増加しても、性能劣化が顕著に現れず、高い再構成品質を維持するという、頑健性を示した。