[논문 리뷰] Super-resolution Reconstruction of SAR Image based on Non-Local Means Denoising Combined with BP Neural Network

Zeling Wu, Haoxiang Wang|arXiv (Cornell University)|2016. 12. 14.

Advanced Image Processing Techniques참고 문헌 5인용 수 13

한 줄 요약

이 논문은 백프로파게이션 신경망(BPNN)과 비국소 평균 노이즈 제거를 조합하여 SAR 이미지의 초해상도 재구성 방법을 제안한다. 수정된 NL-평균 알고리즘을 통해 추출한 자기유사 패치를 BPNN의 입력으로 사용함으로써 재구성 성능을 향상시켜 가장자리 선명도를 높이고, 기준 방법 대비 더 높은 PSNR 및 ENL 값을 달성한다.

ABSTRACT

In this article, we propose a super-resolution method to resolve the problem of image low spatial because of the limitation of imaging devices. We make use of the strong non-linearity mapped ability of the back-propagation neural networks(BPNN). Training sample images are got by undersampled method. The elements chose as the inputs of the BPNN are pixels referred to Non-local means(NL-Means). Making use of the self-similarity of the images, those inputs are the pixels which are pixels gained from modified NL-means which is specific for super-resolution. Besides, small change on core function of NL-means has been applied in the method we use in this article so that we can have a clearer edge in the shrunk image. Experimental results gained from the Peak Signal to Noise Ratio(PSNR) and the Equivalent Number of Look(ENL), indicate that adding the similar pixels as inputs will increase the results than not taking them into consideration.

연구 동기 및 목표

• 하드웨어 제약으로 인한 SAR 이미지의 낮은 공간 해상도를 해결하기 위해.
• BP 신경망의 비선형 매핑 능력을 활용하여 초해상도를 구현하기 위해.
• 수정된 NL-평균 알고리즘을 통해 추출한 자기유사 픽셀 구조를 입력 특징으로 활용하여 이미지 품질을 향상시키기 위해.
• NL-평균의 핵심 함수를 수정하여 재구성된 이미지의 가장자리 유지 성능을 향상시키기 위해.
• 평가 지표로 PSNR 및 등가 레이크 수(ENL)를 사용하여 우수한 성능을 입증하기 위해.

제안 방법

• 저해상도 SAR 이미지를 시뮬레이션하기 위해 샘플링을 축소하는 방법을 통해 학습 샘플을 생성한다.
• 핵심 함수를 조정하여 가장자리 선명도를 향상시키는 수정된 비국소 평균(NL-평균) 알고리즘을 적용한다.
• 수정된 NL-평균에서 추출한 자기유사 픽셀 패치를 BP 신경망의 입력 특징으로 사용한다.
• 자기유사 픽셀 입력을 기반으로 저해상도에서 고해상도 이미지로의 매핑을 학습시키기 위해 BPNN을 훈련시킨다.
• SAR 이미지의 자기유사성 특성을 활용하여 재구성 정밀도를 향상시키고 노이즈를 감소시킨다.
• 수정된 NL-평균을 통한 노이즈 제거와 딥러닝 기반 초해상도 재구성을 결합하여 출력 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 수정된 NL-평균 알고리즘에서 유도한 자기유사 픽셀 구조를 통합함으로써 SAR 이미지의 초해상도 재구성이 향상될 수 있는가?
• RQ2 비국소 평균 특징의 사용이 SAR 이미지 재구성에서 PSNR 및 ENL에 어떤 영향을 미치는가?
• RQ3 NL-평균의 핵심 함수를 수정함으로써 초해상도 SAR 이미지에서 가장자리 유지 성능이 향상되는가?
• RQ4 표준 픽셀 입력 대비 BPNN이 자기유사 입력 특징을 얼마나 유의미하게 활용하는가?
• RQ5 NL-평균 노이즈 제거와 BPNN의 조합이 기준 방법보다 뛰어난 초해상도 성능을 달성할 수 있는가?

주요 결과

• 자기유사 픽셀 입력을 사용하지 않는 방법에 비해 제안된 방법이 더 높은 피크 신호 대 노이즈비(PSNR)를 달성한다.
• 등가 레이크 수(ENL) 값이 향상되어 스펙클 감소 및 텍스처 유지 성능이 향상됨을 나타낸다.
• 수정된 NL-평균 알고리즘이 재구성된 고해상도 SAR 이미지의 가장자리 선명도를 향상시킨다.
• BPNN에 자기유사 패치를 입력 특징으로 통합함으로써 재구성 품질 향상이 명확하게 관측된다.
• 비국소 평균 노이즈 제거와 BP 신경망의 조합이 기존의 초해상도 기법보다 SAR 데이터에 대해 뛰어난 성능을 보인다.
• 낮은 해상도의 SAR 이미지에서 이미지 세부 정보를 잘 유지하고 노이즈를 감소시키는 데 있어 강건함을 입증한다.