[논문 리뷰] Image Reconstruction Using Deep Learning

Po‐Yu Liu, Edmund Y. Lam|arXiv (Cornell University)|2018. 09. 27.

Medical Imaging and Analysis인용 수 9

한 줄 요약

이 논문은 저조도 영상에서 포isson 노이즈를 고려해 복소 및 복소화된 층의 하이브리드 아키텍처를 사용하는 딥러닝 기반 이미지 노이즈 제거 네트워크를 제안한다. 특히 대칭 스케일 연결을 통한 최적화로 통계적으로 유의미한 향상이 이루어졌으며, 피크 신호 값이 4, 2, 1일 때 각각 기존 알고리즘 대비 평균 PSNR 향상이 0.38 dB, 0.68 dB, 1.04 dB에 달한다. 또한 스트라이드 조정을 통해 계산 시간을 줄였다.

ABSTRACT

This paper proposes a deep learning architecture that attains statistically significant improvements over traditional algorithms in Poisson image denoising espically when the noise is strong. Poisson noise commonly occurs in low-light and photon- limited settings, where the noise can be most accurately modeled by the Poission distribution. Poisson noise traditionally prevails only in specific fields such as astronomical imaging. However, with the booming market of surveillance cameras, which commonly operate in low-light environments, or mobile phones, which produce noisy night scene pictures due to lower-grade sensors, the necessity for an advanced Poisson image denoising algorithm has increased. Deep learning has achieved amazing breakthroughs in other imaging problems, such image segmentation and recognition, and this paper proposes a deep learning denoising network that outperforms traditional algorithms in Poisson denoising especially when the noise is strong. The architecture incorporates a hybrid of convolutional and deconvolutional layers along with symmetric connections. The denoising network achieved statistically significant 0.38dB, 0.68dB, and 1.04dB average PSNR gains over benchmark traditional algorithms in experiments with image peak values 4, 2, and 1. The denoising network can also operate with shorter computational time while still outperforming the benchmark algorithm by tuning the reconstruction stride sizes.

연구 동기 및 목표

• 감시 카메라 및 모바일 사진 촬영과 같은 저조도 영상 응용 분야에서 효과적인 포isson 노이즈 제거의 증가하는 수요를 해결하기 위해.
• 특히 광자 제한 환경에서 강한 포isson 노이즈로 인해 어려움을 겪는 기존 노이즈 제거 알고리즘의 한계를 개선하기 위해.
• 기타 비전 작업에서의 딥러닝 성공 사례를 활용해 포isson 분포 노이즈에 대해 더 견고하고 효율적인 노이즈 제거 솔루션을 개발하기 위해.
• 기준 방법 대비 더 높은 피크 신호 대 노이즈 비율(PSNR)과 더 빠른 추론 시간을 달성하기 위해.

제안 방법

• 제안된 아키텍처는 계층적 특징을 학습하고 노이즈가 있는 입력에서 고품질 이미지를 재구성하기 위해 복소 및 복소화된 층을 조합한다.
• 공간적 세부 정보를 유지하고 네트워크 전반의 특징 전파를 향상시키기 위해 대칭 스케일 연결을 통합한다.
• 포isson 노이즈 조건 하에서 예측값과 진짜 이미지 간의 차이를 최소화하는 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 재구성 스트라이드 크기를 조정하여 계산 효율성과 노이즈 제거 성능 사이의 균형을 맞추며, 정확도를 희생시키지 않은 채 더 빠른 추론을 가능하게 한다.
• 광자 수가 적고 노이즈가 포isson 분포를 따르는 저조도 영상 시나리오에 특별히 설계되었다.

실험 결과

연구 질문

• RQ1 강한 노이즈 조건에서 기존 알고리즘에 비해 딥러닝 기반 아키텍처가 포isson 이미지 노이즈 제거에서 뛰어난 성능을 보일 수 있는가?
• RQ2 대칭 스케일 연결과 하이브리드 복소-복소화된 설계의 통합이 노이즈 제거 성능에 어떤 영향을 미치는가?
• RQ3 이미지 품질을 떨어뜨리지 않으면서 재구성 스트라이드 크기 조정을 통해 계산 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 특히 낮은 피크 값에서 다양한 신호 대 노이즈 비율에서 제안된 방법이 뛰어난 성능을 유지하는가?

주요 결과

• 제안된 딥러닝 기반 노이즈 제거 네트워크는 피크 신호 값이 4일 때 기존 알고리즘 대비 평균 PSNR 향상 0.38 dB를 달성한다.
• 피크 값이 2일 때는 평균 PSNR 향상이 0.68 dB로, 더 강한 노이즈 조건에서도 성능 향상이 뚜렷하다.
• 피크 값이 1일 때는 평균 PSNR 향상이 1.04 dB에 달하여 극도로 저조도 조건에서 뚜렷한 우수성을 보인다.
• 정확도가 기준 방법보다 높은 상태에서 최적화된 재구성 스트라이드 조정을 통해 계산 시간을 줄였다.