[논문 리뷰] Removing Clouds and Recovering Ground Observations in Satellite Image Sequences via Temporally Contiguous Robust Matrix Completion

Jialei Wang, Peder A. Olsen외 2명|arXiv (Cornell University)|2016. 04. 13.

Advanced Image Fusion Techniques인용 수 3

한 줄 요약

이 논문은 저랭크 구조와 시간적 연속성의 특성을 활용하여 위성 영상 시퀀스에서 구름에 의해 가림을 받은 지표면 영상을 복원하는 시간적으로 연속적인 강건한 행렬 완성 방법인 TECROMAC을 제안한다. 시뮬레이션된 데이터와 실제 MODIS 데이터 모두에서 뛰어난 복원 정확도를 달성하였으며, 특히 구름이 많을 경우에도 기존의 행렬 완성 및 강건한 주성분 분석보다 뛰어난 성능을 보였다.

ABSTRACT

We consider the problem of removing and replacing clouds in satellite image sequences, which has a wide range of applications in remote sensing. Our approach first detects and removes the cloud-contaminated part of the image sequences. It then recovers the missing scenes from the clean parts using the proposed "TECROMAC" (TEmporally Contiguous RObust MAtrix Completion) objective. The objective function balances temporal smoothness with a low rank solution while staying close to the original observations. The matrix whose the rows are pixels and columnsare days corresponding to the image, has low-rank because the pixels reflect land-types such as vegetation, roads and lakes and there are relatively few variations as a result. We provide efficient optimization algorithms for TECROMAC, so we can exploit images containing millions of pixels. Empirical results on real satellite image sequences, as well as simulated data, demonstrate that our approach is able to recover underlying images from heavily cloud-contaminated observations.

연구 동기 및 목표

• 위성 영상 시퀀스에서의 구름 오염 문제를 해결함으로써 농업 및 토양 모니터링과 같은 원격 감지 응용 분야의 한계를 해소하고자 한다.
• 구름 마스크나 비광학 센서와 같은 외부 데이터가 필요 없는 구름 제거 방법을 개발하고자 한다.
• 전체 영상가 구름에 의해 가림을 당해도 지표면 복원이 가능하도록 강건한 복원 기능을 확보하고자 한다.
• 수백만 픽셀에 이르는 고해상도 영상에 대응할 수 있는 효율적인 최적화 프레임워크를 설계하고자 한다.
• 시간적 연속성, 저랭크 구조, 그리고 구름 탐지 오차에 대한 강건성 간의 균형을 확보하고자 한다.

제안 방법

• 이 방법은 이중 단계 프레임워크를 사용한다: 먼저 픽셀 강도 임계값(예: 8비트 RGB에서 높은 강도)을 이용해 구름을 탐지하고, 그 다음 TECROMAC을 사용해 손실된 데이터를 복원한다.
• TECROMAC은 픽셀을 행으로, 시간 포인트를 열로 하는 행렬로 영상 시퀀스를 모델링하며, 일관된 지형 유형이 시간에 걸쳐 유지됨을 반영하기 위해 저랭크 구조를 강제한다.
• 목적 함수는 핵노름 최소화(저랭크 반영), 관측치에 대한 프로베니우스 노름 적합성, 그리고 탐지 오차에 대한 강건성 확보를 위한 ℓ₁-노름 정규화를 조합한다.
• 확장성 확보를 위해 증강 라그랑주 방법과 비정확한 프락시멀 기반 경사하강법(ALT) 또는 교대 최소화(ALM-IPG)를 사용해 최적화를 해결한다.
• 모델은 명시적으로 시간적 연속성을 강제하여, 일부 프레임이 완전히 가림을 입더라도 연속된 시간 프레임 간의 매끄러운 전이를 보장한다.
• 이 방법은 제약 조건 최적화 문제로 수식화되며, 최소화 대상은 ‖X‖⁎ + λ₁‖X‖F + λ₂‖E‖₁ 이며, 제약 조건은 X + E = Y로, Y는 관측된(구름 제거된) 데이터 행렬이다.

실험 결과

연구 질문

• RQ1 전체 영상가 구름에 의해 가림을 입었을 경우, 저랭크 행렬 완성 접근법이 지표면 영상을 효과적으로 복원할 수 있는가?
• RQ2 행렬 완성 프레임워크에서 시간적 연속성과 구름 탐지 오차에 대한 강건성을 동시에 확보할 수 있는가?
• RQ3 효율적인 최적화 알고리즘이 수백만 픽셀에 이르는 고해상도 위성 영상에 대응하면서도 정확도를 유지할 수 있는가?
• RQ4 노이즈 또는 오염된 관측치 하에서 ℓ₁-노름 정규화를 통합함으로써 표준 행렬 완성 기법보다 성능 향상을 이룰 수 있는가?
• RQ5 제안된 TECROMAC 방법은 기존의 행렬 완성, 강건한 주성분 분석, 보간 기법과 비교해 복원 품질과 강건성 측면에서 어떻게 뛰어나게 되는가?

주요 결과

• 에스컬레이터 영상에서 TECROMAC은 상대적 복원 오차(RRE)가 0.0153으로, 행렬 완성(0.2760)과 강건한 행렬 완성(0.2155)보다 유의미하게 낮게 나타났다.
• 로비 영상에서 TECROMAC은 RRE 0.0246을 기록하여 보간(0.1151)과 TECMAC(0.0646)를 모두 앞섰다.
• 워터서피스 영상에서 TECROMAC은 RRE 0.0045로 가장 낮게 기록했으며, 이는 행렬 완성(0.9880)과 강건한 행렬 완성(0.9127)에 비해 근본적인 개선을 보였다.
• ALM-ALT 알고리즘은 ALM-IPG보다 빠른 수렴(에스컬레이터에서 72초)을 보였지만, 약간 높은 RRE를 기록하여 속도와 정확도 사이의 상충 관계를 보였다.
• 실제 MODIS 위성 데이터(400×400×181)에서 TECROMAC은 시각적·정량적 측면에서 기존 모델을 모두 능가했으며, 높은 구름 커버 조건에서도 지표면 영상을 높은 정밀도로 복원했다.
• 구름 탐지 단계는 고강도(흰색) 배경 영역에서도 구름 영역을 성공적으로 식별했으며, 강도 기반 임계값에 대한 강건성을 입증했다.