[논문 리뷰] Thick Cloud Removal of Remote Sensing Images Using Temporal Smoothness and Sparsity Regularized Tensor Optimization

Chenxi Duan|arXiv (Cornell University)|2020. 10. 20.

Image Enhancement Techniques참고 문헌 45인용 수 39

한 줄 요약

이 논문은 시간적 연속성과 공간적 희소성의 특성을 활용하여 원격 감지 영상에서 두꺼운 구름과 구름 그림자를 제거하기 위해 새로운 텐서 최적화 방법 TSSTO를 제안한다. ADMM 프레임워크 내에서 단방향 총변위와 희소성 정규화를 적용함으로써, TSSTO는 큰 구름 덮개 지역이 있는 경우에도 세부 정보가 풍부하고 스펙트럼적으로 일관된 영상을 효과적으로 복원하며, 다양한 센서와 해상도에서 기존 방법들보다 시각적 품질과 정량적 지표에서 뛰어난 성능을 보인다.

ABSTRACT

In remote sensing images, the presence of thick cloud accompanying shadow can affect the quality of subsequent processing and limit the scenarios of application. Hence, to make good use of such images, it is indispensable to remove the thick cloud and cloud shadow as well as recover the cloud-contaminated pixels. Generally, the thick cloud and cloud shadow element are not only sparse but also smooth along the spatial horizontal and vertical direction, while the clean element is smooth along the temporal direction. Guided by the above insight, a novel thick cloud removal method for remote sensing images based on temporal smoothness and sparsity regularized tensor optimization (TSSTO) is proposed in this paper. Firstly, the sparsity norm is utilized to boost the sparsity of the cloud and cloud shadow element, and unidirectional total variation (UTV) regularizers are applied to ensure the smoothness in different directions. Then, through thresholding, the cloud mask and the cloud shadow mask can be acquired and used to guide the substitution. Finally, the reference image is selected to reconstruct details of the repairing area. A series of experiments are conducted both on simulated and real cloud-contaminated images from different sensors and with different resolutions, and the results demonstrate the potential of the proposed TSSTO method for removing cloud and cloud shadow from both qualitative and quantitative viewpoints.

연구 동기 및 목표

• 광학 원격 감지 영상에서 두꺼운 구름과 구름 그림자가 심각하게 이미지의 사용 가능성을 떨어뜨리고 후속 응용을 제한하는 문제를 해결하기 위해.
• 결측된 지표면 정보를 효과적으로 복원하면서도 스펙트럼 일관성과 공간적 세부 정보를 유지하는 구름 제거 방법을 개발하기 위해.
• 다시 시간 영상 간의 시간적 일관성과 구름/그림자 요소의 공간적 희소성을 활용하여 재구성 정밀도를 향상시키기 위해.
• 특히 큰 구름 덮개 지역에서 흔히 발생하는 아티팩트와 스티칭 흔적을 최소화하기 위해.
• 스펙트럼, 공간, 시간 정보를 통합된 텐서 프레임워크에서 통합함으로써 고품질 입력에 대한 의존도를 줄이기 위해.

제안 방법

• 텐서 최적화를 사용하여 구름 및 구름 그림자 제거 문제를 낮은 질량과 희소한 텐서 분해 문제로 수식화한다.
• 클라우드/그림자 요소의 수평 및 수직 방향에서의 부드러움을 강제하기 위해 단방향 총변위(UTV) 정규화를 적용한다.
• 클라우드 및 구름 그림자 구성요소에 희소성 노름을 적용하여 그들의 구조적 밀도를 향상시킨다.
• 청정 영상 구성요소에서 시간에 따른 부드러움을 확보하기 위해 시간 기반 총변위 정규화를 적용한다.
• 수렴 보장이 보장된 분할 증폭 다중 승수 방법(ADMM)을 사용하여 최적화 모델을 해결한다.
• 참조 영상 데이터를 활용하여 복구된 클라우드 및 그림자 영역의 세부 정보를 복원하기 위해 정보 클로닝을 적용한다.

실험 결과

연구 질문

• RQ1 텐서 기반 최적화 프레임워크는 스펙트럼 및 공간 정밀도를 유지하면서도 원격 감지 영상에서 큰 두꺼운 구름 덮개 지역을 효과적으로 복원할 수 있는가?
• RQ2 단방향 총변위와 희소성 정규화를 통합함으로써 기존의 낮은 질량 또는 행렬 기반 방법에 비해 구름 및 구름 그림자 탐지 및 재구성 성능이 어떻게 향상되는가?
• RQ3 다시 시간 영상 간의 시간적 연속성이 구름 제거 결과의 정확도와 일관성에 어느 정도 기여하는가?
• RQ4 시각적 품질과 SD, FD, IE와 같은 정량적 지표에서 제안된 TSSTO 방법은 최첨단 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 특정 센서에 맞게 캘리브레이션을 수행하지 않고도 다양한 센서와 영상 해상도에서 성능을 유지할 수 있는가?

주요 결과

• TSSTO는 시뮬레이션 데이터에서 최고의 구조적 차이(SD) 값 5.726011을 기록했으며(그림 14), 실재 데이터에서는 22.8344를 기록하여 뛰어난 구조 보존 능력을 입증했다.
• 시뮬레이션 데이터에서 최고의 스펙트럼 거리(FD) 1789.9368을 기록했고, 실재 데이터에서는 2615.7837을 기록하여 강력한 스펙트럼 일관성을 보였다.
• 시뮬레이션 데이터에서 최고의 이미지 엔트로피(IE) 14.8556을 기록했고, 실재 데이터에서는 6.2769를 기록하여 더 나은 질감 및 세부 정보 복원 능력을 입증했다.
• 시각적 비교 결과, TSSTO는 특히 강과 도시 지역과 같은 복잡한 영역에서 최소한의 스티칭 아티팩트를 유발하며 가장 자연스러운 결과를 생성했다.
• TSSTO를 사용한 구름 및 구름 그림자 탐지 결과는 MFC 및 MAJA 프로세서보다 더 정확한 마스크를 생성하여 어둠운 영역를 맑은 영역로 잘못 분류하는 것을 줄였다.
• 메서드는 구름 크기가 증가함에 따라 유연하게 대응하며, 성능 저하 없이 고품질 재구성을 유지하는 것으로 입증되었다.