[논문 리뷰] W2S: A Joint Denoising and Super-Resolution Dataset

Ruofan Zhou, Majed El Helou외 4명|arXiv (Cornell University)|2020. 03. 12.

Advanced Image Processing Techniques참고 문헌 48인용 수 6

한 줄 요약

이 논문은 144,000장의 실제 형광 현미경 영상으로 구성된 W2S라는 새로운 데이터셋을 소개한다. 이 데이터셋은 함께 노이즈 제거와 초해상도 복원(이하 JDSR)을 수행할 수 있도록 설계되었으며, 노이즈가 있는 저해상도, 노이즈가 없는 저해상도, 고해상도 영상 쌍을 총 360세트로 구성한다. 기존 최고 수준의 노이즈 제거 모델과 초해상도 복원 네트워크를 병합하는 것은 최적의 성능을 내지 못함을 보여주며, 대신 고주파 성분을 잘 유지하는 새로운 텍스처 손실 함수를 갖춘 경량의 종합적으로 훈련된 초해상도 네트워크를 제안한다. 이는 별도의 노이즈 제거-초해상도 복원 파이프라인을 모두 능가하는 성능을 보인다.

ABSTRACT

Denoising and super-resolution (SR) are fundamental tasks in imaging. These two restoration tasks are well covered in the literature, however, only separately. Given a noisy low-resolution (LR) input image, it is yet unclear what the best approach would be in order to obtain a noise-free high-resolution (HR) image. In order to study joint denoising and super-resolution (JDSR), a dataset containing pairs of noisy LR images and the corresponding HR images is fundamental. We propose such a novel JDSR dataset, Wieldfield2SIM (W2S), acquired using microscopy equipment and techniques. W2S is comprised of 144,000 real fluorescence microscopy images, used to form a total of 360 sets of images. A set is comprised of noisy LR images with different noise levels, a noise-free LR image, and a corresponding high-quality HR image. W2S allows us to benchmark the combinations of 6 denoising methods and 6 SR methods. We show that state-of-the-art SR networks perform very poorly on noisy inputs, with a loss reaching 14dB relative to noise-free inputs. Our evaluation also shows that applying the best denoiser in terms of reconstruction error followed by the best SR method does not yield the best result. The best denoising PSNR can, for instance, come at the expense of a loss in high frequencies, which is detrimental for SR methods. We lastly demonstrate that a light-weight SR network with a novel texture loss, trained specifically for JDSR, outperforms any combination of state-of-the-art deep denoising and SR networks.

연구 동기 및 목표

• 이미지 복원을 위한 실세계 데이터셋이 동시에 공동 노이즈 제거와 초해상도 복원(JDSR)을 지원하는 데 부족한 점을 해결하기 위해.
• 노이즈가 있는 저해상도 입력에 대해 순차적으로 적용되는 기존 최고 수준의 노이즈 제거 및 초해상도 복원 네트워크의 성능 한계를 조사하기 위해.
• 단독으로 최적의 노이즈 제거 방법을 선택했을 때, 그 다음에 초해상도 복원을 수행했을 때 전체 성능이 최고가 되는지 평가하기 위해.
• 분리된 노이즈 제거-초해상도 복원 파이프라인보다 우수한 성능을 보이는 전용의 경량 딥러닝 모델을 개발하고 검증하기 위해.
• 통제된 노이즈 수준과 정확한 고해상도 지표 영상가 있는 실제 형광 현미경 데이터를 사용하여 JDSR에 대한 벤치마크를 설정하기 위해.

제안 방법

• W2S 데이터셋은 실제 형광 현미경 영상 시스템을 사용하여 제작되었으며, 총 360개의 서로 다른 영상 세트에서 144,000장의 영상을 확보하였다.
• 각 세트는 노이즈가 없는 저해상도 영상, 다양한 노이즈 수준을 가진 다수의 노이즈 있는 저해상도 영상, 그리고 해당하는 고해상도 기준 영상으로 구성된다.
• 이 데이터셋은 6종의 노이즈 제거 방법과 6종의 초해상도 복원 방법을 모두 조합하여 평가할 수 있도록 가능하게 한다.
• 고주파 성분을 효과적으로 유지하는 데 중점을 두어 설계된 새로운 텍스처 손실 함수를 사용하여, 종합적으로 훈련된 경량 초해상도 네트워크를 JDSR에 대해 훈련시켰다.
• 표준 평가 지표인 PSNR와 구조적 유사도(SSIM)를 사용하여 제안된 종합 모델의 성능을 순차적 파이프라인과 비교하였다.
• 노이즈 제거 정확도와 고주파 성분 유지 간의 상호 보완 관계를 분석하기 위해 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 최고 수준의 초해상도 복원 네트워크는 노이즈가 있는 저해상도 입력에 적용되었을 때, 노이즈가 없는 입력에 비해 PSNR 기준 최대 14 dB까지 성능이 떨어지는가?
• RQ2 재구성 오차 측면에서 최고 성능을 보이는 노이즈 제거 방법이, 효과적인 초해상도 복원을 위해 필요한 특징을 손상시키는 정도는 어느 정도인가?
• RQ3 노이즈 제거와 초해상도 복원을 동시에 훈련하는 딥러닝 모델이, 최고 수준의 노이즈 제거 및 초해상도 복원 네트워크를 순차적으로 적용한 파이프라인보다 성능이 뛰어나게 되는가?
• RQ4 노이즈 제거 단계에서 고주파 성분을 잘 유지하는 것이 최종 초해상도 품질에 어떤 영향을 미치는가?
• RQ5 새로운 텍스처 손실 함수는 종합적인 노이즈 제거 및 초해상도 복원 작업에서 성능 향상에 어떤 기여를 하는가?

주요 결과

• 최고 수준의 초해상도 복원 네트워크는 노이즈가 있는 저해상도 입력에 적용되었을 때, 노이즈가 없는 입력에 비해 PSNR 기준 최대 14 dB까지 성능이 저하된다.
• 단독으로 성능이 가장 좋았던 노이즈 제거 모델이 초해상도 네트워크에 이어진 경우, 고주파 성분의 손실로 인해 전체 성능이 최고가 되지 못한다.
• 새로운 텍스처 손실 함수를 사용하여 종합적으로 훈련된 경량 초해상도 네트워크는 별도의 노이즈 제거 및 초해상도 복원 모델 조합의 모든 조합을 능가하는 성능을 보인다.
• 노이즈가 있는 입력에서의 성능 저하 원인은 주로 노이즈 제거 과정에서 고주파 성분이 억제되기 때문이며, 이는 효과적인 초해상도 복원에 필수적인 성분이다.
• 제안된 종합 훈련 방식은 순차적 파이프라인에서 자주 손실되는 질감과 윤곽 정보를 유지함으로써 뛰어난 이미지 품질을 달성한다.
• W2S 데이터셋은 통제된 노이즈 수준과 고해상도 기준 영상가 있는 실제 현미경 데이터를 사용하여 JDSR 방법의 일관되고 재현 가능한 벤치마크를 가능하게 한다.