[論文レビュー] Removing Clouds and Recovering Ground Observations in Satellite Image Sequences via Temporally Contiguous Robust Matrix Completion

Jialei Wang, Peder A. Olsen+2 more|arXiv (Cornell University)|Apr 13, 2016

Advanced Image Fusion Techniques被引用数 3

ひとこと要約

本稿では、低ランク構造と時間的滑らかさを活用して、雲に覆われた地上被覆を衛星画像系列から回復する時間的連続的でロバストな行列補完手法であるTECROMACを提案する。シミュレート済みおよび実際のMODISデータにおいて、行列補完法やロバストPCAでさえも、重度の雲被覆下でも優れた再構成精度を達成する。

ABSTRACT

We consider the problem of removing and replacing clouds in satellite image sequences, which has a wide range of applications in remote sensing. Our approach first detects and removes the cloud-contaminated part of the image sequences. It then recovers the missing scenes from the clean parts using the proposed "TECROMAC" (TEmporally Contiguous RObust MAtrix Completion) objective. The objective function balances temporal smoothness with a low rank solution while staying close to the original observations. The matrix whose the rows are pixels and columnsare days corresponding to the image, has low-rank because the pixels reflect land-types such as vegetation, roads and lakes and there are relatively few variations as a result. We provide efficient optimization algorithms for TECROMAC, so we can exploit images containing millions of pixels. Empirical results on real satellite image sequences, as well as simulated data, demonstrate that our approach is able to recover underlying images from heavily cloud-contaminated observations.

研究の動機と目的

• 衛星画像系列における雲による汚染という課題に取り組むこと。これは、土地モニタリングや農業応用などのリモートセンシング応用を制限する要因である。
• 雲マスクや非光学センサーなどの外部データを必要としない雲除去手法を開発すること。
• 画像全体が雲に覆われた場合でも、地上被覆のロバストな回復を可能にすること。
• 高解像度画像（数百万ピクセル）にスケーラブルな効率的な最適化フレームワークを設計すること。
• 時間的滑らかさ、低ランク構造、および雲検出誤りに対するロバスト性のバランスを取ること。

提案手法

• 本手法は二段階のフレームワークを採用する。まず、ピクセルの明度閾値（例：8ビットRGBにおける高明度）を用いて雲を検出する。次に、TECROMACを用いて欠損データを回復する。
• TECROMACは、画像系列を、ピクセルを行、時刻点を列とする行列としてモデル化し、時間にわたる一貫した土地被覆を反映する低ランク構造を強制する。
• 目的関数は、核ノルム最小化（低ランク性のため）、観測値へのフロベニウスノルム適合性、およびℓ₁ノルム正則化（検出誤りに対するロバスト性のため）を組み合わせる。
• 最適化は、不正確な近接勾配法を用いた増大ラグランジュ法（ALM-IPG）または交互最小化法（ALT）により解き、大規模な画像へのスケーラビリティを実現する。
• 本モデルは時間的連続性を明示的に強制し、一部のフレームが完全に遮蔽されていても、連続する時刻間での滑らかな遷移を保証する。
• 本手法は制約付き最適化問題として定式化され、minimize ‖X‖⁎ + λ₁‖X‖F + λ₂‖E‖₁ subject to X + E = Y となる。ここでYは観測済み（雲除去済み）のデータ行列である。

実験結果

リサーチクエスチョン

• RQ1 フレーム全体が雲に覆われた場合でも、低ランク行列補完法が衛星画像から地上被覆を効果的に回復できるか？
• RQ2 行列補完フレームワークにおいて、時間的連続性と雲検出誤りに対するロバスト性をどのように同時に強制できるか？
• RQ3 効率的な最適化アルゴリズムは、数百万ピクセルの高解像度衛星画像にスケーラブルでありながら、精度を維持できるか？
• RQ4 ノイズや汚染された観測値下で、ℓ₁ノルム正則化を組み込むことで、標準的な行列補完法よりも性能が向上するか？
• RQ5 行列補完法、ロバストPCA、補間法といった既存手法と比較して、提案手法TECROMACは再構成品質およびロバスト性において優れているか？

主な発見

• Escalator動画では、TECROMACが相対再構成誤差（RRE）0.0153を達成し、行列補完法（0.2760）やロバスト行列補完法（0.2155）を大きく上回った。
• Lobby動画では、TECROMACがRRE 0.0246を達成し、補間法（0.1151）やTECMAC（0.0646）を上回った。
• Watersurface動画では、TECROMACがRRE 0.0045を達成し、行列補完法（0.9880）やロバスト行列補完法（0.9127）を大きく下回った。
• ALM-ALTアルゴリズムは、ALM-IPG（147秒）よりも高速に収束（Escalatorで72秒）を達成したが、わずかに高いRREを示しており、速度と精度のトレードオフが示された。
• 実際のMODIS衛星データ（400×400×181）において、TECROMACは視覚的および定量的に既存モデルを上回り、重度の雲被覆下でも高精度で地上被覆を回復した。
• 雲検出ステージは、高明度（白色）背景領域においても雲領域を的確に同定でき、明度に基づく閾値に対して高いロバスト性を示した。