[논문 리뷰] NeighCNN: A CNN based SAR Speckle Reduction using Feature preserving Loss Function

Praveen Ravirathinam, Darshan Agrawal외 1명|arXiv (Cornell University)|2021. 08. 26.

Image and Signal Denoising Methods참고 문헌 17인용 수 5

한 줄 요약

NeighCNN는 다중성 소음을 직접 처리하기 위해 뺄샘 레이어를 사용하는 경량 컨볼루션 네트워크 아키텍처를 제안하며, 복잡한 로그 변환을 피함으로써 SAR 스펙클 감소에 적합하다. 유럽형, 근접성, 가중 perceptual 손실을 조합한 새로운 3부분 손실 함수를 도입하여 기존 방법들(예: IDCNN)에 비해 최대 2.44 dB의 PSNR 향상을 달성함으로써 최신 기술 수준의 성능을 확보함.

ABSTRACT

Coherent imaging systems like synthetic aperture radar are susceptible to multiplicative noise that makes applications like automatic target recognition challenging. In this paper, NeighCNN, a deep learning-based speckle reduction algorithm that handles multiplicative noise with relatively simple convolutional neural network architecture, is proposed. We have designed a loss function which is an unique combination of weighted sum of Euclidean, neighbourhood, and perceptual loss for training the deep network. Euclidean and neighbourhood losses take pixel-level information into account, whereas perceptual loss considers high-level semantic features between two images. Various synthetic, as well as real SAR images, are used for testing the NeighCNN architecture, and the results verify the noise removal and edge preservation abilities of the proposed architecture. Performance metrics like peak-signal-to-noise ratio, structural similarity index, and universal image quality index are used for evaluating the efficiency of the proposed architecture on synthetic images.

연구 동기 및 목표

• 로그 변환에 의존하지 않고 다중성 스펙클 노이즈를 효과적으로 처리할 수 있는 딥 러닝 기반의 디스펙클링 방법 개발.
• 효율적인 특징 학습과 노이즈 억제를 위한 최적의 컨볼루션 레이어 수를 갖춘 경량 CNN 아키텍처 설계.
• 픽셀 수준 정확도, 구조 유사성, 고수준 의미 보존을 균형 있게 조합한 새로운 손실 함수 제안으로 이미지 품질 향상.
• 합성 및 실재 SAR 영상에서 모델 성능 평가를 통해 강인성과 에지 보존 능력 입증.
• GAN과 같은 생성 모델을 활용한 향후 블라인드 SAR 디스펙클링 연구를 위한 기준 설정.

제안 방법

• NeighCNN 아키텍처는 ReLU 활성화 함수와 배치 정규화를 사용한 12개의 컨볼루션 레이어를 포함하여 학습 안정성과 수렴 속도 향상.
• 뺄샘 레이어를 도입하여 다중성 스펙클 노이즈를 신호 의존성 있는 덧셈 노이즈로 모델링함으로써 네트워크의 학습 과제 단순화.
• 제안된 손실 함수는 세 가지 구성 요소의 가중 합으로 이루어짐: 유럽형 손실(픽셀 수준 재구성), 근접성 손실(대각선 차이 포함한 국소 구조 일관성), 그리고 인지 손실(고수준 의미 유사성).
• 인지 손실 구성 요소는 사전 훈련된 VGG 네트워크의 깊은 층에서 추출된 특징을 강조하는 가중 요소를 사용하여 구조적 정확도 향상.
• 근접성 손실은 표준 총 변동성(TV)을 초월하여 대각선 이웃 차이를 포함함으로써 질감과 에지 일관성 향상.
• 세 부분 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련하여 저수준 및 고수준 이미지 품질 지표 최적화.

실험 결과

연구 질문

• RQ1 로그 변환 없이도 단순한 CNN 아키텍처에 뺄샘 레이어를 적용해 SAR 영상의 다중성 스펙클 노이즈를 효과적으로 감소시킬 수 있는가?
• RQ2 유럽형, 근접성, 인지 손실로 구성된 제안된 3부분 손실 함수가 개별 또는 이원 손실 함수에 비해 이미지 품질과 에지 보존 측면에서 어떻게 성능을 냈는가?
• RQ3 SAR 디스펙클링에 최적의 컨볼루션 레이어 수는 얼마이며, 성능과 모델 복잡성 간의 균형을 어떻게 확보할 수 있는가?
• RQ4 제안된 손실 함수는 IDCNN 및 SARDRN과 같은 최신 기술에 비해 PSNR, SSIM, UQI 지표를 얼마나 향상시키는가?
• RQ5 모델은 실재 SAR 영상으로 일반화되어 잘 작동하는가? 미세한 구조와 에지를 효과적으로 보존하면서 스펙클 노이즈를 제거하는가?

주요 결과

• 모든 노이즈 수준(L=1에서 L=20)에서 IDCNN 대비 NeighCNN은 PSNR에서 0.68–2.44 dB 향상되며, 뛰어난 노이즈 감소 능력 입증.
• 모든 L 값에서 제안된 3부분 손실 함수는 PSNR, SSIM, UQI 측면에서 모든 아블레이션 변형보다 뛰어나며, L=20일 때 최고의 SSIM 0.83 기록.
• L=1일 때 NeighCNN은 PSNR 26.25 dB, SSIM 0.78, UQI 0.54를 달성하여 SARDRN 및 IDCNN을 크게 능가함.
• 실재 SAR 영상(Toulouse 및 Lelystadt)에 대한 시각적 결과는 NeighCNN이 스펙클을 효과적으로 제거하면서도 미세한 에지와 질감을 잘 보존함을 보여주며, Kuan 필터, SARBM3D, SARDRN을 모두 능가함.
• 아블레이션 연구 결과, 모든 세 손실 구성 요소의 조합이 필수적임을 확인하였으며, 단일 또는 이원 손실 조합은 모든 지표에서 동일한 성능 달성 불가.
• 다양한 노이즈 수준에서 강인성을 보이며, L 증가함에 따라 성능이 점진적으로 향상됨으로써 다양한 스펙클 강도에 대한 강력한 일반화 능력 입증.