[논문 리뷰] Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots

Zejin Wang, Jiazheng Liu외 2명|arXiv (Cornell University)|2022. 03. 14.

Image and Signal Denoising Methods인용 수 13

한 줄 요약

Blind2Unblind는 빈틈 기반 방법에서 발생하는 정보 손실을 제거하기 위해 글로벌 인식 마스크 매핑기와 재가시 손실을 도입한 자기지도 학습 이미지 노이즈 제거 프레임워크를 제안한다. 이로 인해 신뢰할 수 있는 정체성 매핑 없이 원시 노이즈 이미지에서 종단 간 학습이 가능해지며, 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다. 특히 복잡한 노이즈 패턴에서 뛰어난 성능을 발휘한다.

ABSTRACT

Real noisy-clean pairs on a large scale are costly and difficult to obtain. Meanwhile, supervised denoisers trained on synthetic data perform poorly in practice. Self-supervised denoisers, which learn only from single noisy images, solve the data collection problem. However, self-supervised denoising methods, especially blindspot-driven ones, suffer sizable information loss during input or network design. The absence of valuable information dramatically reduces the upper bound of denoising performance. In this paper, we propose a simple yet efficient approach called Blind2Unblind to overcome the information loss in blindspot-driven denoising methods. First, we introduce a global-aware mask mapper that enables global perception and accelerates training. The mask mapper samples all pixels at blind spots on denoised volumes and maps them to the same channel, allowing the loss function to optimize all blind spots at once. Second, we propose a re-visible loss to train the denoising network and make blind spots visible. The denoiser can learn directly from raw noise images without losing information or being trapped in identity mapping. We also theoretically analyze the convergence of the re-visible loss. Extensive experiments on synthetic and real-world datasets demonstrate the superior performance of our approach compared to previous work. Code is available at https://github.com/demonsjin/Blind2Unblind.

연구 동기 및 목표

• 빈틈 기반 자기지도 학습 노이즈 제거에서 발생하는 정보 손실을 해결함으로써 성능의 상한선을 높이기 위해.
• 자기지도 학습 노이즈 제거에서 노이즈 사전 지식, 정체성 매핑, 또는 하향 샘플링에 의존하지 않도록 하기 위해.
• 재가시 손실을 통해 빈틈을 '가시화'시켜 원시 노이즈 이미지에서의 학습을 가능하게 하기 위해.
• 글로벌 인식 마스크 매핑기를 통해 학습 수렴 속도와 글로벌 최적화를 향상시키기 위해.
• 제안된 재가시 손실에 대한 이론적 수렴 한계를 제공하기 위해.

제안 방법

• 빈틈 영역에서 복원된 특징를 추출하고 공유 채널에 투영함으로써 글로벌 최적화를 위한 글로벌 인식 마스크 매핑기를 도입한다.
• 마스크된 이미지를 기울기 전달 수단으로 사용하여 노이즈 제거기가 원시 노이즈 이미지에서 학습할 수 있도록 재가시 손실을 활용한다.
• 블라인드 스팟 손실과 원본 입력에 대한 가시 손실을 사용하는 이중 손실 전략을 적용하며, 이들 사이에 정규화된 전이를 구현한다.
• 고정된 빈틈을 가진 블록으로 나누어 각 이미지를 분할하고, 배치 처리를 위한 글로벌 마스크된 볼륨을 형성하는 마스크 기반 샘플링 기법을 적용한다.
• 이론적 분석을 통해 재가시 손실이 수렴에 대해 잘 정의된 상한과 하한을 가짐을 입증한다.
• 아키텍처 수정 없이도 고급 노이즈 제거 아키텍처의 플러그인 사용을 지원한다.

실험 결과

연구 질문

• RQ1 마스크된 영역에서 복원된 정보를 통해 빈틈 기반 노이즈 제거를 손실 없이 구현할 수 있는가?
• RQ2 정체성 매핑이나 노이즈 사전 지식 없이 원시 노이즈 이미지에서 자기지도 학습 노이즈 제거를 어떻게 수행할 수 있는가?
• RQ3 빈틈 기반과 비빈틈 기반 노이즈 제거를 연결하는 재가시 손실의 수렴 행동은 어떠한가?
• RQ4 글로벌 인식 마스크 매핑기가 빈틈 기반 노이즈 제거에서 학습 속도 향상과 성능 향상에 기여할 수 있는가?
• RQ5 제안된 방법이 실세계 노이즈 패턴에서 이전 자기지도 접근법보다 더 잘 일반화되는가?

주요 결과

• 고카드 데이터셋에서 가우시안 노이즈(σ=25) 조건에서 Blind2Unblind는 32.27 dB PSNR를 달성하여 이어지는 최고 성능 방법보다 0.9 dB 높다.
• 포isson 노이즈(λ=30) 조건에서는 31.64 dB PSNR를 기록하며, 무작위 마스크 기반 기준보다 유의미하게 높은 29.89 dB를 기록하고, 복잡한 노이즈에 대해 강건함을 입증한다.
• λf=20 및 η=1 조건에서 재가시 손실이 최적의 성능을 낸다. λf나 η의 값이 높아지면 성능이 악화됨을 확인하여 하이퍼파ram터 튜닝의 중요성을 입증한다.
• 글로벌 인식 마스크 매핑기(GM)는 다양한 노이즈 유형에서 평균 1.9 dB 높은 성능를 보이며, 무작위 마스크(RM)는 재가시 손실과 조합했을 때 수렴하지 못함을 확인한다.
• 제거 분석 결과 정규화 항(η)이 학습을 안정화시키며, 모든 노이즈 패턴에서 η=1 조건에서 최고의 성능를 기록한다.
• 변동 노이즈 수준 σ∈[5,50]에 대한 과제에서 32.34 dB PSNR를 달성하여 변수 노이즈 수준에 대한 강력한 일반화 능력을 입증한다.