[논문 리뷰] Noise2Sim - Similarity-based Self-Learning for Image Denoising.

Chuang Niu, Ge Wang|arXiv (Cornell University)|2020. 11. 06.

Image and Signal Denoising Methods참고 문헌 26인용 수 10

한 줄 요약

Noise2Sim은 쌍체의 청소된 이미지-노이즈 데이터가 필요 없이 자기 유사성(self-similarity)을 활용해 자기지도 학습 방식의 이미지 노이즈 제거를 수행하는 방법이다. 비슷한 방법의 비국소 평균(NLM)에 영감을 받았지만, 유사성 기반 자기학습 프레임워크를 통해 학습된다. 이는 표준 데이터셋에서 Noise2Noise와 Noise2Void를 능가하며, 패치 단위의 대칭성을 활용해 자기 일관성 있는 노이즈 제거를 실현한다.

ABSTRACT

The key idea behind denoising methods is to perform a mean/averaging operation, either locally or non-locally. An observation on classic denoising methods is that non-local mean (NLM) outcomes are typically superior to locally denoised results. Despite achieving the best performance in image denoising, the supervised deep denoising methods require paired noise-clean data which are often unavailable. To address this challenge, Noise2Noise methods are based on the fact that paired noise-clean images can be replaced by paired noise-noise images which are easier to collect. However, in many scenarios the collection of paired noise-noise images are still impractical. To bypass labeled images, Noise2Void methods predict masked pixels from their surroundings in a single noisy image only. It is pitiful that neither Noise2Noise nor Noise2Void methods utilize self-similarities in an image as NLM methods do, while self-similarities/symmetries play a critical role in modern sciences. Here we propose Noise2Sim, an NLM-inspired self-learning method for image denoising. Specifically, Noise2Sim leverages self-similarities of image patches and learns to map between the center pixels of similar patches for self-consistent image denoising. Our statistical analysis shows that Noise2Sim tends to be equivalent to Noise2Noise under mild conditions. To accelerate the process of finding similar image patches, we design an efficient two-step procedure to provide data for Noise2Sim training, which can be iteratively conducted if needed. Extensive experiments demonstrate the superiority of Noise2Sim over Noise2Noise and Noise2Void on common benchmark datasets.

연구 동기 및 목표

• 쌍체의 노이즈-청소 이미지 데이터가 필요한 감독 기반 딥 노이즈 제거 방법의 한계를 해결하기 위해.
• 실제 환경에서 쌍체의 노이즈-노이즈 이미지 수집이 비현실적이므로 이를 해결하기 위해.
• 자연 이미지 내 임의의 자기 유사성을 활용해 레이블이 전혀 필요 없는 자기지도 학습 노이즈 제거를 가능하게 하기 위해.
• NLM 기반의 패치 유사성 학습을 통합함으로써 Noise2Noise와 Noise2Void와 같은 기존 자기지도 학습 방법을 향상시키기 위해.
• 모델 훈련 중 이미지 패치의 유사성 탐색을 가속화하기 위한 효율적인 훈련 절차 개발하기 위해.

제안 방법

• 동일한 이미지에서 유사한 패치를 활용해 노이즈가 있는 이미지 패치의 중심 픽셀을 그에 대응하는 정제된 버전으로 매핑하는 자기학습 프레임워크를 제안한다.
• 유사한 이미지 패치를 효율적으로 식별하기 위해 이중 단계 절차를 사용한다: 첫째, 빠른 임bedding을 통한 유사성 근사; 둘째, 더 정확한 유사성 측정을 통한 정밀화.
• 유사한 패치의 주변 픽셀을 기반으로 중심 픽셀의 정제된 값을 예측하기 위해 신경망을 훈련하고, 자기 일관성(self-consistency)을 강제한다.
• 유사한 패치 주변에서 예측된 중심 픽셀과 실제 중심 픽셀 간의 재구성 오차를 최소화하는 것으로 학습 목표를 수립한다.
• 여러 훈련 라운드에 걸쳐 모델과 유사성 탐색 과정을 반복적으로 개선하여 노이즈 제거 성능을 향상시킨다.
• 단일한 노이즈 이미지에만 의존함으로써, 청소된 이미지나 쌍체 데이터가 전혀 필요 없도록 하여 자기지도 학습을 유지한다.

실험 결과

연구 질문

• RQ1 단일한 노이즈 이미지 내 자기 유사성이 쌍체 데이터 없이도 효과적으로 노이즈 제거 모델 훈련에 활용될 수 있는가?
• RQ2 패치 자기 유사성 기반 자기지도 노이즈 제거 방법의 성능이 Noise2Noise와 Noise2Void에 비해 어떻게 비교되는가?
• RQ3 제안된 Noise2Sim 방법이 Noise2Noise와 통계적으로 동일한 조건은 무엇인가?
• RQ4 두 단계 유사성 탐색 절차는 높은 노이즈 제거 정확도를 유지하면서도 훈련 속도를 크게 향상시킬 수 있는가?
• RQ5 유사성 탐색과 모델 예측의 반복적 개선이 종합적인 노이즈 제거 성능 향상에 기여하는가?

주요 결과

• Noise2Sim은 표준 기준 데이터셋에서 Noise2Noise와 Noise2Void를 모두 능가하는 뛰어난 노이즈 제거 성능을 보이며, 자기지도 학습 이미지 노이즈 제거 분야에서 최신 기술 수준을 확립한다.
• 약간의 조건 하에서 Noise2Sim은 Noise2Noise와 통계적으로 동일하므로 이론적 기반을 확인한다.
• 두 단계 유사성 탐색 절차는 계산 오버헤드를 줄여 효율적인 훈련을 가능하게 하며, 높은 정확도를 유지한다.
• 모델과 유사성 매칭의 반복적 개선은 노이즈 제거 품질을 향상시켜 자기지도 학습에서 피드백 루프의 유용성을 입증한다.
• 자기 유사 패치의 사용은 외부 레이블 데이터에 의존하지 않고도 강력하고 맥락 인식 가능한 노이즈 제거 패턴을 학습할 수 있음을 보여준다.
• 광범위한 실험을 통해 Noise2Sim이 이미지 대칭성을 효과적으로 활용해 저신호 환경에서도 고품질의 정제된 출력을 생성함을 확인한다.