[논문 리뷰] Adaptive Denoising via GainTuning

Sreyas Mohan, Joshua Vincent외 4명|arXiv (Cornell University)|2021. 07. 27.

Image and Signal Denoising Methods참고 문헌 81인용 수 10

한 줄 요약

이 논문은 각 합성곱 층의 각 합성곱 채널당 하나의 승수 가중치 매개변수를 최적화하여 사전 훈련된 합성곱 신경망(CNN)을 이미지 복소화에 적응시키는 GainTuning 방법을 제안한다. 개별 테스트 이미지에 대해 비지도 복소화 목적함수를 사용하여 이러한 가중치를 선택적으로 조정함으로써, 표준 벤치마크에서 최신 기술 수준의 성능을 향상시키고, 특히 낮은 신호 대 잡음비(SNR)를 가진 전자현미경 이미지와 같이 분포 외 데이터에 대해 뛰어난 일반화 성능을 보이며, 이전 방법들이 놓쳤던 원자 크기의 구조를 복원한다.

ABSTRACT

Deep convolutional neural networks (CNNs) for image denoising are usually trained on large datasets. These models achieve the current state of the art, but they have difficulties generalizing when applied to data that deviate from the training distribution. Recent work has shown that it is possible to train denoisers on a single noisy image. These models adapt to the features of the test image, but their performance is limited by the small amount of information used to train them. Here we propose "GainTuning", in which CNN models pre-trained on large datasets are adaptively and selectively adjusted for individual test images. To avoid overfitting, GainTuning optimizes a single multiplicative scaling parameter (the "Gain") of each channel in the convolutional layers of the CNN. We show that GainTuning improves state-of-the-art CNNs on standard image-denoising benchmarks, boosting their denoising performance on nearly every image in a held-out test set. These adaptive improvements are even more substantial for test images differing systematically from the training data, either in noise level or image type. We illustrate the potential of adaptive denoising in a scientific application, in which a CNN is trained on synthetic data, and tested on real transmission-electron-microscope images. In contrast to the existing methodology, GainTuning is able to faithfully reconstruct the structure of catalytic nanoparticles from these data at extremely low signal-to-noise ratios.

연구 동기 및 목표

• 사전 훈련된 CNN 복소화 모델이 훈련 분포와 다른 테스트 이미지에 적용되었을 때의 열악한 일반화 성능을 해결하기 위해.
• 표준 CNN이 실패하는 실제 세계의 낮은 신호 대 잡음비(SNR) 영상에서의 성능 향상을 위해.
• 대규모 사전 훈련의 장점을 결합하면서도 테스트에 특화된 보정이 가능한 경량이고 과적합을 방지하는 적응 방법을 개발하기 위해.
• 모든 네트워크 가중치를 미세조정하지 않고도 효과적인 적응을 가능하게 하여 과적합을 피하면서도 일반화 능력을 유지하기 위해.

제안 방법

• GainTuning는 네트워크 전체 가중치를 최적화하는 대신, 각 합성곱 층의 각 채널당 하나의 승수 가중치 매개변수를 최적화하여 사전 훈련된 CNN을 적응시킨다.
• 이 가중치 매개변수들은 테스트 이미지를 직접 사용하여 비지도 복소화 목적함수를 통해 업데이트되며, 재구성 오차를 최소화한다.
• 이 방법은 CNN을 애फ인 함수로 모델링하기 위해 일阶 테일러 근사를 사용하여 편향과 적응 효과를 분석할 수 있다.
• 이 가중치 조정 과정은 계산적으로 효율적이며, 전체 가중치 수의 약 0.1%만을 다루어 과적합 위험을 줄인다.
• 이 방법은 아키텍처에 종속되지 않으며, 어떤 사전 훈련된 CNN 복소화 모델에도 적용 가능하다.
• 일반화 능력은 유사한 이미지에서 적응된 모델을 평가하여 평가되며, 관련된 이미지 유형이나 잡음 통계에 대해 전이 가능성(transferability)을 보여준다.

실험 결과

연구 질문

• RQ1 과적합을 피하면서도 단일 테스트 이미지에 대해 사전 훈련된 CNN을 효과적으로 적응시킬 수 있는가?
• RQ2 GainTuning는 훈련 분포를 벗어난 이미지에서 복소화 성능을 어떻게 향상시키는가?
• RQ3 GainTuning는 유사한 구조나 잡음 특성을 가진 다른 이미지로 얼마나 잘 일반화되는가?
• RQ4 가중치 조정은 CNN의 네트워크 편향을 어떻게 줄여, 분포 외의 잡음 수준에 대해 더 나은 일반화를 가능하게 하는가?
• RQ5 GainTuning는 낮은 SNR의 전자현미경 이미지와 같은 실제 과학적 영상 데이터에서 미세한 구조적 세부 정보, 예를 들어 원자 크기의 특징을 복원할 수 있는가?

주요 결과

• Hold-out 테스트 세트의 거의 모든 이미지에서 GainTuning은 복소화 성능을 향상시키며, 특히 분포 외 이미지에서는 뚜렷한 성능 향상을 보였다.
• PSNR 약 3 dB인 전자현미경 이미지에서는 표준 사전 훈련된 모델과 테스트 전용으로 훈련된 모델이 모두 재구성에 실패한 원자 구조를 GainTuning이 성공적으로 복원하였다.
• 이 방법은 CNN의 네트워크 편향을 감소시켜, 통제된 잡음 수준 변화 실험을 통해 훈련 범위를 초월한 잡음 수준에 대해서도 일반화가 가능하다는 것을 입증하였다.
• 반복 패턴이나 큰 일정 밝기 영역을 가진 이미지가 적응에서 가장 큰 이점을 얻었으며, 이질적인 이미지는 보다 작은 향상 정도를 보였다.
• 스캔된 문서나 노이즈가 많은 이미지에 대해 적응한 결과는 유사한 다른 이미지로도 효과적으로 전이되었으며, 이는 강력한 전이 가능성(robust transferability)을 시사한다.
• GainTuning 이후의 등가 선형 필터는 큰 영역에 걸친 평균화가 감소하여 원래 사전 훈련된 모델에서 과도하게 부드럽게 처리된 세부 구조를 유지하는 것으로 나타났다.