[논문 리뷰] Noise2Fast: Fast Self-Supervised Single Image Blind Denoising

Jason Lequyer, Reuben Philip외 2명|arXiv (Cornell University)|2021. 08. 23.

Image and Signal Denoising Methods참고 문헌 26인용 수 7

한 줄 요약

Noise2Fast는 단일 이미지에서 잡음 제거를 위한 빠르고 자기지도 학습 기반의 방법으로, 한 장의 입력 이미지로부터 네 개의 이미지를 생성하기 위해 고유한 '체스보드 다운샘플링' 기법을 사용한다. 이로 인해 경량 신경망의 효율적인 학습이 가능해지며, 기존의 모든 방법보다 훨씬 빠른 추론 속도를 달성하면서도, 가장 느리지만 가장 정확한 방법인 Self2Self 수준의 노이즈 제거 정확도를 유지한다. 이는 100배 이상 빠른 속도를 기록한다.

ABSTRACT

In the last several years deep learning based approaches have come to dominate many areas of computer vision, and image denoising is no exception. Neural networks can learn by example to map noisy images to clean images. However, access to noisy/clean or even noisy/noisy image pairs isn't always readily available in the desired domain. Recent approaches have allowed for the denoising of single noisy images without access to any training data aside from that very image. But since they require both training and inference to be carried out on each individual input image, these methods require significant computation time. As such, they are difficult to integrate into automated microscopy pipelines where denoising large datasets is essential but needs to be carried out in a timely manner. Here we present Noise2Fast, a fast single image blind denoiser. Our method is tailored for speed by training on a four-image dataset produced using a unique form of downsampling we refer to as "checkerboard downsampling". Noise2Fast is faster than all tested approaches and is more accurate than all except Self2Self, which takes well over 100 times longer to denoise an image. This allows for a combination of speed and flexibility that was not previously attainable using any other method.

연구 동기 및 목표

• 기존 단일 이미지 블라인드 노이즈 제거 방법들이 이미지당 긴 학습 시간이 소요되는 계산적 비효율성을 해결하기 위해.
• 청정 이미지 쌍이나 외부 사전 학습 없이도 작동하는 자기지도 학습 기반 노이즈 제거 프레임워크를 개발하기 위해.
• 속도와 정확도가 모두 중요한 고처리량 현미경 파이프라인에서 실시간 노이즈 제거를 가능하게 하기 위해.
• 노이즈 제거 성능을 훼손하지 않으면서도 추론 속도를 최적화하여, 특히 생세포 및 대규모 영상 촬영 응용 분야에서의 활용을 위해.

제안 방법

• 이 방법은 단일 입력 이미지를 네 개의 겹치지 않는 공간적으로 교차 배치된 부분 이미지로 나누는 고유한 '체스보드 다운샘플링' 기법을 사용하여 이산적인 학습 세트를 구성한다.
• 소규모 순방향 신경망은 이러한 네 개의 다운샘플된 시각에서 원본 이미지를 예측하도록 학습되며, 부분 이미지 간의 구조적 일관성을 활용한다.
• 학습 과정은 자기지도 학습 방식이다: 네트워크는 노이즈가 포함된 부분 시각에서 전체 이미지를 재구성하도록 학습되며, 이 과정에서 잡음 억제 능력을 암묵적으로 학습한다.
• 수렴성은 원본의 전체 해상도 이미지를 타겟으로 하여 검증되며, 이는 모델이 의미 있는 신호 재구성 능력을 학습하도록 보장한다.
• Neighbor2Neighbor에 영감을 받았지만, 이산적이고 저차원의 학습 표현 방식을 사용함으로써 속도 향상과 단일 이미지 사용에 최적화되어 있다.
• 명시적인 노이즈 모델링을 피하고, 대신 체스보드 부분 이미지 간의 공간적 재현성과 신호 일관성을 활용하여 노이즈 제거를 학습한다.

실험 결과

연구 질문

• RQ1 청정 데이터나 외부 사전 학습 없이도 단일 이미지에서 효율적으로 자기지도 학습 기반 노이즈 제거 모델을 훈련시킬 수 있는가?
• RQ2 체스보드 다운샘플링은 기존의 다운샘플링 또는 패치 기반 방법에 비해 경량 네트워크의 단일 이미지 노이즈 제거 학습을 더 빠르고 효과적으로 할 수 있는가?
• RQ3 이산적인 네 개의 이미지로 구성된 학습 세트를 사용해 훈련된 모델의 추론 속도는 기존 최고 수준의 블라인드 노이즈 제거 방법과 비교해 속도와 정확도 면에서 어떻게 성능을 내는가?
• RQ4 이 자기지도 학습 환경에서 아키텍처 선택(예: 순방향 신경망 대비 U-Net)이 성능과 속도에 어떤 영향을 미치는가?
• RQ5 모델은 고해상도 현미경 영상에서 하이퍼세포 추론 시간 이내에 높은 노이즈 제거 정확도를 달성할 수 있는가?

주요 결과

• Noise2Fast는 모든 테스트된 방법 중에서 가장 빠른 추론 속도를 기록했으며, 심지어 다음으로 빠른 방법들보다도 크게 앞서는 성능을 보였다.
• Self2Self(테스트된 가장 정확한 방법)와 동일한 수준의 노이즈 제거 성능을 제공했으며, 이는 이미지당 100배 이상 느린 속도를 기록한다.
• σ=25인 BSD68 데이터셋에서 Noise2Fast는 PSNR 28.12를 기록했으며, Self2Self를 제외한 모든 방법보다 뛰어난 성능을 보였다.
• 절단 분석 결과 체스보드 다운샘플링이 성능에 핵심적인 역할을 하며, 기존의 2×2 블록 다운샘플링으로 대체할 경우 평균적으로 PSNR가 0.56 dB 감소함을 확인했다.
• 순방향 신경망을 U-Net 아키텍처로 대체하면 성능이 평균 0.36–0.40 dB 감소하여, 원래 아키텍처가 이 작업에 더 적합함을 시사한다.
• 홀수 픽셀 세트와 짝수 픽셀 세트 간의 신호 차이를 반영하는 항목 s_odd - s_even는 성능에 거의 영향을 주지 않아, 이 방법의 성공 요인이 체스보드 구조에 기인함을 확인한다.