[논문 리뷰] Zero-shot Blind Image Denoising via Implicit Neural Representations

Chaewon Kim, Jae‐Ho Lee외 1명|arXiv (Cornell University)|2022. 04. 05.

Photoacoustic and Ultrasonic Imaging인용 수 7

한 줄 요약

이 논문은 다층퍼셉트론(MLP)의 아키텍처 인덕티브 바이어스를 활용해 저주파수 청소된 신호를 고주파수 노이즈보다 우선 학습하도록 하는 암묵적 신경 표현(INRs)을 사용한 제로샷 블라인드 이미지 노이즈 제거 방법을 제안한다. 깊은 층의 가중치를 선택적으로 감소시키는 가중치 감쇠 기법을 적용함으로써, 저노이즈 및 실제 노이즈 환경에서 기존의 블라인드 스팟 기반 방법들인 Self2Self보다 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent denoising algorithms based on the "blind-spot" strategy show impressive blind image denoising performances, without utilizing any external dataset. While the methods excel in recovering highly contaminated images, we observe that such algorithms are often less effective under a low-noise or real noise regime. To address this gap, we propose an alternative denoising strategy that leverages the architectural inductive bias of implicit neural representations (INRs), based on our two findings: (1) INR tends to fit the low-frequency clean image signal faster than the high-frequency noise, and (2) INR layers that are closer to the output play more critical roles in fitting higher-frequency parts. Building on these observations, we propose a denoising algorithm that maximizes the innate denoising capability of INRs by penalizing the growth of deeper layer weights. We show that our method outperforms existing zero-shot denoising methods under an extensive set of low-noise or real-noise scenarios.

연구 동기 및 목표

• 기존의 제로샷 블라인드 노이즈 제거 방법의 한계, 특히 저노이즈 또는 실제 노이즈 조건에서의 열악한 성능을 해결하기 위해.
• 암묵적 신경 표현(INRs)이 블라인드 이미지 노이즈 제거에 있어 컨볼루션 아키텍처보다 더 강한 인덕티브 바이어스를 제공하는지 조사하기 위해.
• 청소된 신호가 노이즈보다 먼저 학습되는 INR 학습의 시간적 분리 특성을 활용한 노이즈 제거 전략을 개발하기 위해.
• 깊은 INR 층에 대한 정규화를 통해 과적합을 억제하고 노이즈 제거 성능을 향상시키기 위해.

제안 방법

• 6개의 은닉층을 가진 SIREN 기반 암묵적 신경 표현(INR)을 사용해 입력 노이즈 이미지를 연속 함수로 매개변수화한다.
• 픽셀 좌표에서 노이즈가 있는 이미지를 재구성하도록 INR을 훈련시키며, 저주파수 청소된 신호가 고주파수 노이즈보다 빨리 학습된다는 인덕티브 바이어스에 의존한다.
• 특히 깊은 층을 대상으로 하여 층 선택적 가중치 감쇠 정규화를 적용해 훈련 중 노이즈에 대한 과적합을 억제한다.
• 입력 이미지에서 노이즈 수준을 추정하여 훈련 과정을 안내하고 최적의 정지 시점을 결정한다.
• INR의 수렴 행동을 기반으로 조기 정지 기법을 사용해 완전한 노이즈 피팅이 일어나기 이전에 청소된 출력을 생성한다.
• INR의 연속적이고 암묵적인 표현을 활용해 외부 데이터셋이나 노이즈 모델링 없이도 고품질의 이미지 재구성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 암묵적 신경 표현(INRs)은 제로샷 블라인드 이미지 노이즈 제거에 있어 컨볼루션 아키텍처보다 더 효과적인 인덕티브 사전 지식을 제공할 수 있는가?
• RQ2 INR의 학습 동역학은 청소된 이미지 신호를 노이즈 피팅보다 먼저 학습하는가? 그리고 이러한 특성을 노이즈 제거에 활용할 수 있는가?
• RQ3 INR의 아키텍처 깊이가 고주파수 이미지 성분과 노이즈의 학습에 어떤 영향을 미치는가?
• RQ4 층 선택적 정규화를 통해 깊은 층에서의 노이즈 피팅을 억제함으로써 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ5 제안된 INR 기반 방법은 저노이즈 및 실제 노이즈 시나리오에서 최신 기술 수준의 블라인드 스팟 노이즈 제거 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• Set9 데이터셋에서 저노이즈 환경에서 고유성 노이즈와 포isson-고유성 노이즈 모두에 대해 INR 기반 방법이 최고 또는 유사한 성능을 기록한다.
• FMD 및 PolyU 실제 노이즈 데이터셋에서 INR 기반 방법은 Self2Self, Noise2Fast, DIP, Noise2Void/Noise2Self를 포함한 모든 베이스라인보다 일관되게 뛰어난 성능을 보인다.
• Self2Self의 성능은 노이즈 수준에 따라 일관성 없이 변동하며, 특히 S=4에서 성능이 열등한 반면, INR은 노이즈 수준에 맞춰 안정적인 성능을 유지한다.
• INR 모델은 노이즈보다 청소된 이미지 특징을 더 빨리 학습하며, 이로 인해 청소된 이미지에 더 가까운 출력이 노이즈가 있는 입력보다 먼저 도출되는 시간 창이 생성된다.
• 층 선택적 가중치 감쇠는 깊은 층에서 고주파수 노이즈에 대한 과적합을 줄여 노이즈 제거 성능을 크게 향상시킨다.
• 비현실적인 노이즈 환경에서도 강력한 일반화 성능을 보이며, 블라인드 스팟 방법이 평균이 0이 아니고 복잡한 노이즈 분포로 인해 실패하는 상황에서 유의미한 성능을 내고 있다.