[논문 리뷰] Blind SAR Image Despeckling Using Self-Supervised Dense Dilated Convolutional Neural Network

Ye Yuan, Jian Guan외 1명|arXiv (Cornell University)|2019. 08. 05.

Image and Signal Denoising Methods참고 문헌 43인용 수 10

한 줄 요약

이 논문은 다단계 확장 컨volution 신경망을 사용하여 정제된 레이블 없이 다중 스펙클 노이즈의 단위 평균 성질을 활용해 스펙클 노이즈를 억제하는 자기지도 학습 기반 빈도 없는 SAR 제노이징 방법 BDSS를 제안한다. 이 방법은 스펙클 이미지에 대해 L2 손실을 최적화함으로써 성능을 향상시킨다. BDSS는 합성 및 실제 SAR 데이터에서 스펙클 감소와 특징 유지(모서리, 점 대상물, 복사계량) 면에서 최신 기술 수준을 달성하며, 레이어 수에 관계없이 뛰어난 빈도 없는 제노이징 성능을 보인다.

ABSTRACT

Despeckling is a key and indispensable step in SAR image preprocessing, existing deep learning-based methods achieve SAR despeckling by learning some mappings between speckled (different looks) and clean images. However, there exist no clean SAR image in the real world. To this end, in this paper, we propose a self-supervised dense dilated convolutional neural network (BDSS) for blind SAR image despeckling. Proposed BDSS can still learn to suppress speckle noise without clean ground truth by optimized for L2 loss. Besides, three enhanced dense blocks with dilated convolution are employed to improve network performance. The synthetic and real-data experiments demonstrate that proposed BDSS can achieve despeckling effectively while maintaining well features such as edges, point targets, and radiometric. At last, we demonstrate that our proposed BDSS can achieve blind despeckling excellently, i.e., do not need to care about the number of looks.

연구 동기 및 목표

• 실제 응용에서 정제된 SAR 이미지 레퍼런스가 부족하여, 이는 제노이징을 위한 지도 학습 기반 딥 러닝의 발전을 저해한다.
• 알 수 없는 레이어 수(즉, 노이즈 수준)에 대해 강건한 빈도 없는 SAR 제노이징을 가능하게 한다.
• 정제된 참조가 필요 없이 오직 노이즈 이미지 쌍만을 사용해 훈련하는 자기지도 학습 프레임워크를 개발한다.
• 제노이징 과정에서 모서리, 점 대상물, 복사계량 값과 같은 중요한 영상 특징을 유지한다.
• 확장 컨볼루션과 밀집 잔차 연결을 통합하여 기존의 CNN 기반 방법보다 성능을 향상시키고, 더 넓은 수신 필드와 특징 학습 능력을 향상시킨다.

제안 방법

• 제안된 BDSS 프레임워크는 자기지도 학습 전략을 사용하며, 훈련 시 입력과 타겟 모두가 스펙클된 SAR 이미지이다. 이는 스펙클 노이즈가 단위 평균 성질을 가진다는 통계적 성질을 활용한다.
• 밀집 잔차 블록과 확장 컨볼루션을 조합한 새로운 밀집 확장 컨volution 신경망 아키텍처를 설계하여 수신 필드를 확장하고 특징 학습 능력을 향상시켰다.
• 독립적으로 손상된 스펙클 이미지 쌍 간의 L2 손실을 사용해 훈련하여, 네트워크가 노이즈 관측치의 기대 평균으로서의 정제된 신호를 학습하도록 한다.
• 실제 SAR 영상 통계와 훈련 분포를 시뮬레이션하기 위해 ImageNet 기반의 합성 SAR 유사 데이터셋을 구축하였다.
• 밀집 연결을 통해 특징 전파를 향상시키고 메모리 사용량을 줄였으며, vanishing gradient 문제 없이 더 깊은 네트워크를 구현할 수 있도록 하였다.
• 정제된 기준 영상이 필요 없이, 노이즈 입력을 정제된 출력으로 매핑하는 엔드 투 엔드 훈련 방식을 적용하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 정제된 훈련 레이블 없이 효과적인 SAR 제노이징을 달성할 수 있는가?
• RQ2 자기지도 학습 네트워크가 지도 학습 또는 비빈도 방법에 비해 모서리, 점 대상물, 복사계량 값을 얼마나 잘 유지하는가?
• RQ3 확장 컨볼루션과 밀집 잔차 블록의 사용이 빈도 없는 SAR 제노이징 성능 향상에 기여하는가?
• RQ4 재훈련 없이 다양한 레이어 수(즉, 다른 스펙클 노이즈 수준)에 대해 일반화 가능한가?
• RQ5 제안된 방법이 합성 및 실제 SAR 영상 환경 모두에서 최신 기술 수준의 제노이징 기법과 정량적으로 비교해 어떻게 성능을 냈는가?

주요 결과

• BDSS는 레이어 수가 알려지지 않은 실제 SAR 이미지에 대해 빈도 없는 제노이징에서 PSNR 29.78 dB, SSIM 0.8551을 기록하여 모든 기준 모델을 압도적으로 뛰어넘었다.
• 모든 비교 방법 중에서 가장 높은 ENL(10.54)를 기록하여 뛰어난 스펙클 감소 성능를 입증하였다.
• 합성 데이터 실험에서 BDSS는 가장 높은 평균 EPD-ROA(0.87) 및 MOR(0.89) 값을 기록하여 가장 우수한 모서리 유지 성능를 보였다.
• SAR-DRN은 빈도 없는 제노이징에서 두 번째로 우수한 성능를 보였지만, BDSS는 자기지도 학습이면서도 다양한 노이즈 수준에 대한 다중 매핑이 필요 없음에도 이를 뛰어넘었다.
• 모델는 랜덤한 레이어 수(1~10)에 대해 일관된 성능를 유지하여, 빈도 없는 제노이징 능력이 뛰어나다는 것을 확인하였다.
• 시각적 결과는 BDSS가 BM3D, PPB, FANS에서 흔히 볼 수 있는 과도한 평탄화 아티팩트를 피하고 미세 구조와 복사계량 일관성을 잘 유지함을 보여주었다.