[논문 리뷰] PUCA: Patch-Unshuffle and Channel Attention for Enhanced Self-Supervised Image Denoising

Hyemi Jang, Junsung Park외 4명|arXiv (Cornell University)|2023. 10. 16.

Image and Signal Denoising Methods인용 수 7

한 줄 요약

PUCA는 $Σ$-불변 다운샘플링/업샘플링을 위한 패치 언셔플링/셔플링과 전역적 맥락 모델링을 위한 확장된 어텐션 블록(DABs)을 도입함으로써, 자기지도 학습 이미지 노이즈 제거를 위한 새로운 $Σ$-불변 U-Net 아키텍처를 제안한다. SIDD에서 최고 성능을 기록하여, PSNR 31.11 dB, SSIM 0.798을 달성하며 이전의 자기지도 학습 및 비쌍화 방법들을 능가한다.

ABSTRACT

Although supervised image denoising networks have shown remarkable performance on synthesized noisy images, they often fail in practice due to the difference between real and synthesized noise. Since clean-noisy image pairs from the real world are extremely costly to gather, self-supervised learning, which utilizes noisy input itself as a target, has been studied. To prevent a self-supervised denoising model from learning identical mapping, each output pixel should not be influenced by its corresponding input pixel; This requirement is known as J-invariance. Blind-spot networks (BSNs) have been a prevalent choice to ensure J-invariance in self-supervised image denoising. However, constructing variations of BSNs by injecting additional operations such as downsampling can expose blinded information, thereby violating J-invariance. Consequently, convolutions designed specifically for BSNs have been allowed only, limiting architectural flexibility. To overcome this limitation, we propose PUCA, a novel J-invariant U-Net architecture, for self-supervised denoising. PUCA leverages patch-unshuffle/shuffle to dramatically expand receptive fields while maintaining J-invariance and dilated attention blocks (DABs) for global context incorporation. Experimental results demonstrate that PUCA achieves state-of-the-art performance, outperforming existing methods in self-supervised image denoising.

연구 동기 및 목표

• 합성 노이즈와 실제 노이즈 사이의 도메인 갭으로 인해 기존 자기지도 학습 이미지 노이즈 제거 모델이 실제 노이즈에 대해 성능을 내지 못하는 한계를 해결한다.
• 자기지도 학습 모델의 아키텍처 유연성을 제한하는 블라인드 스팟 네트워크(BSNs)의 제약을 극복한다. BSNs는 $Σ$-불변성을 유지하기 위해 중심 마스크링 및 확장된 컨볼루션만 허용한다.
• 자기지도 학습 노이즈 제거에 유연한 U-Net 기반 아키텍처를 가능하게 하기 위해 $Σ$-불변 다운샘플링/업샘플링 메커니즘을 도입한다.
• 새로운 $Σ$-불변 채널 어テン션 메커니즘을 통해 장거리 특징 학습과 전역 맥락 통합을 향상시킨다.

제안 방법

• 패치 언셔플링/셔플링을 제안한다. 이는 특징 맵을 겹치지 않는 패치로 재구성하고, 이를 순서를 뒤바꿔주는 $Σ$-불변 다운샘플링/업샘플링 기법으로, 다중 스케일 표현과 확장된 수용장을 가능하게 한다.
• 확장된 어텐션 블록(DABs)을 도입한다. 이는 확장된 컨볼루션을 적용하여 하향샘플링된 특징에서 전역 공간 맥락을 주시하는 $Σ$-불변 채널 어텐션 메커니즘이다.
• 패치 언셔플링과 DABs를 U-Net 아키텍처에 통합하여 스킵 커넥션과 계층적 특징 학습을 유지하면서도 $Σ$-불변성을 유지한다.
• 중앙 마스크링 컨볼루션과 패치 언셔플링의 구조적 설계를 통해 각 출력 픽셀이 해당 입력 픽셀의 영향을 받지 않도록 하여 $Σ$-불변성을 확보한다.
• 정제된-노이즈 쌍이 필요 없이 오직 노이즈가 있는 이미지만을 사용하여 자기지도 학습 방식으로 모델을 훈련시킨다.
• 패치 언셔플링에서 생성된 하향샘플된 특징의 앙상블을 활용하여 DABs 내에서 어텐션 기반 융합을 통해 노이즈 억제 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습 노이즈 제거 모델이 $Σ$-불변성과 함께 기본 BSN 레이어를 초월한 아키텍처의 유연성을 확보하면서도 최고 성능을 달성할 수 있는가?
• RQ2 $Σ$-불변성 제약을 위반하지 않으면서 다중 스케일 표현과 큰 수용장을 효과적으로 $Σ$-불변 네트워크에 통합할 수 있는가?
• RQ3 전역 풀링된 하향샘플링된 특징에 기반한 채널 어텐션 메커니즘이 자기지도 학습 노이즈 제거에서 노이즈 억제 성능을 얼마나 향상시킬 수 있는가?
• RQ4 패치 언셔플링과 확장된 어텐션 블록의 조합이 기존의 자기지도 학습 또는 비쌍화 노이즈 제거 방법보다 실제 노이즈가 있는 이미지에서 더 높은 성능을 내는가?

주요 결과

• PUCA는 SIDD 검증 세트에서 PSNR 31.11 dB, SSIM 0.798을 기록하여, AP-BSN(29.46 dB, 0.782) 및 DnCNN(27.65 dB, 0.624)과 같은 기존 자기지도 학습 방법들을 능가한다.
• 제안된 패치 언셔플링/셔플링 기법은 $Σ$-불변 네트워크에서 다운샘플링 및 업샘플링을 성공적으로 가능하게 하여 수용장을 확장하고 다중 스케일 특징 학습을 지원한다.
• 확장된 어텐션 블록(DABs)은 하향샘플링된 패치의 특징을 주시함으로써 전역 맥락을 효과적으로 통합하여 노이즈 억제와 특징 표현을 향상시킨다.
• PUCA는 실제 노이즈가 있는 이미지에서 뛰어난 일반화 성능을 보이며, 정제된-노이즈 쌍으로 훈련된 지도 학습 모델과 유사한 성능을 달성한다.
• 모델는 아키텍처 설계를 통해 $Σ$-불변성을 유지하여 신뢰성 있는 정체성 매핑을 방지하면서도 복잡하고도 민감한 U-Net 아키텍처를 가능하게 한다.
• 성능 향상에도 불구하고, 네트워크 레벨 수가 과도하게 증가할 경우 전역 의미 정보가 떨어지는 경향을 보이며, 깊이와 의미 충실도 사이의 상충 관계를 보여준다.