[논문 리뷰] Multi-Head Linear Attention Generative Adversarial Network for Thin Cloud Removal

Chenxi Duan, Rui Li|arXiv (Cornell University)|2020. 12. 20.

Advanced Image Fusion Techniques참고 문헌 49인용 수 5

한 줄 요약

이 논문은 원격 감지 영상에서 얇은 구름 제거를 위한 새로운 딥러닝 프레임워크인 멀티헤드 선형 어텐션 생성적 적대적 신경망(MLAGAN)을 제안한다. 인코더-디코더 아키텍처 내에서 다중 헤드 선형 어텐션 메커니즘을 활용하여, 구름으로 인해 영향을 받은 영역을 재구성하면서도 기저 표면 특징을 유지하면서 장거리 공간적 종속성을 효과적으로 모델링한다. RICE1 및 RICE2 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In remote sensing images, the existence of the thin cloud is an inevitable and ubiquitous phenomenon that crucially reduces the quality of imageries and limits the scenarios of application. Therefore, thin cloud removal is an indispensable procedure to enhance the utilization of remote sensing images. Generally, even though contaminated by thin clouds, the pixels still retain more or less surface information. Hence, different from thick cloud removal, thin cloud removal algorithms normally concentrate on inhibiting the cloud influence rather than substituting the cloud-contaminated pixels. Meanwhile, considering the surface features obscured by the cloud are usually similar to adjacent areas, the dependency between each pixel of the input is useful to reconstruct contaminated areas. In this paper, to make full use of the dependencies between pixels of the image, we propose a Multi-Head Linear Attention Generative Adversarial Network (MLAGAN) for Thin Cloud Removal. The MLA-GAN is based on the encoding-decoding framework consisting of multiple attention-based layers and deconvolutional layers. Compared with six deep learning-based thin cloud removal benchmarks, the experimental results on the RICE1 and RICE2 datasets demonstrate that the proposed framework MLA-GAN has dominant advantages in thin cloud removal.

연구 동기 및 목표

• 원격 감지 영상에서 얇은 구름 오염 문제를 해결함으로써 영상 품질 저하 및 활용도 제한을 완화하고자 한다.
• 얇은 구름으로 인해 가림을 입지만 완전히 가리키지 않는 지표 특징을 유지하고자 한다.
• 근접한 영역은 종종 유사한 지표 특성을 공유하므로, 픽셀 간 공간적 종속성을 활용하고자 한다.
• 장거리 맥락적 관계를 모델링하여 얇은 구름으로 인해 영향을 받은 영역을 재구성하는 딥러닝 모델을 개발하고자 한다.
• 기존의 딥러닝 기반 얇은 구름 제거 방법보다 벤치마크 데이터셋에서 뛰어난 성능을 내고자 한다.

제안 방법

• 제안된 MLAGAN는 잔차 블록을 활용하여 특징을 추출하고 재구성하는 인코더-디코더 아키텍처를 채택한다.
• 이미지 전반에 걸쳐 장거리 공간적 종속성을 효율적으로 모델링하기 위해 다중 헤드 선형 어텐션 레이어를 통합한다.
• 계산 비용을 줄이기 위해 선형 근사 기반으로 쿼리, 키, 밸류 특징 간 유사도를 계산하는 어텐션 메커니즘을 적용한다.
• 디코더에서 디컨볼루션 레이어를 사용하여 특징 맵을 업샘플링하고 고해상도의 구름 없는 출력을 생성한다.
• 생성적 적대적 신경망(GAN) 프레임워크를 채택하여, 진짜 구름 없는 영상과 생성된 구름 없는 영상을 구별하도록 판별기 모델을 훈련시킨다.
• 전반적인 손실 함수는 생성적 적대적 손실, 지각적 손실, 재구성 손실을 조합하여 영상의 현실감과 구조적 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 헤드 선형 어텐션 메커니즘이 얇은 구름 제거 작업에서 장거리 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 MLAGAN은 기존의 딥러닝 기반 방법에 비해 얇은 구름 아래의 표면 세부 정보를 얼마나 잘 유지하는가?
• RQ3 어텐션 메커니즘의 통합이 재구성 품질과 시각적 정밀도를 얼마나 향상시키는가?
• RQ4 자동에코더 기반 벤치마크 대비 GAN 기반 훈련 전략이 생성된 구름 없는 영상의 현실감을 얼마나 향상시키는가?
• RQ5 MLAGAN은 다양한 원격 감지 환경 및 구름 패턴에 대해 얼마나 강인한가?

주요 결과

• MLAGAN은 RICE1 및 RICE2 데이터셋에서 기존의 여섯 가지 딥러닝 기반 벤치마크를 능가하는 최신 기준 성능을 달성한다.
• 정량적 결과에서 MLAGAN는 기존 방법보다 더 높은 PSNR 및 SSIM 값을 확보하여 뛰어난 재구성 품질을 입증한다.
• 시각적 비교 결과, MLAGAN가 얇은 구름이 있는 영역에서 더 섬세한 질감과 구조적 세부 정보를 더 효과적으로 유지하는 것으로 나타났다.
• 제거 실험을 통해 다중 헤드 선형 어텐션 모듈이 기본 모델 대비 성능 향상에 크게 기여하는 것으로 확인되었다.
• 다양한 원격 감지 환경 및 얇은 구름 패턴에 걸쳐도 강력한 일반화 능력을 유지한다.