[논문 리뷰] Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization
이 논문은 적응형 인스턴스 정규화(AIN)를 활용하여 합성 노이즈 데이터를 이용해 노이즈 제거기를 훈련하는 전이 학습 프레임워크를 제안한다. 이로 인해 실제 노이즈에 대한 강력한 일반화 성능을 달성할 수 있다. 소량의 실제 노이즈 데이터로 AIN 모듈을 미세조정함으로써, Darmstadt Noise Dataset(DND)와 같이 실제 노이즈 기반 벤치마크에서 기존 방법들보다도 우수한 성능을 기록하며, 실제 데이터가 최소한일지라도 상태최저 성능을 달성한다.
Real-noise denoising is a challenging task because the statistics of real-noise do not follow the normal distribution, and they are also spatially and temporally changing. In order to cope with various and complex real-noise, we propose a well-generalized denoising architecture and a transfer learning scheme. Specifically, we adopt an adaptive instance normalization to build a denoiser, which can regularize the feature map and prevent the network from overfitting to the training set. We also introduce a transfer learning scheme that transfers knowledge learned from synthetic-noise data to the real-noise denoiser. From the proposed transfer learning, the synthetic-noise denoiser can learn general features from various synthetic-noise data, and the real-noise denoiser can learn the real-noise characteristics from real data. From the experiments, we find that the proposed denoising method has great generalization ability, such that our network trained with synthetic-noise achieves the best performance for Darmstadt Noise Dataset (DND) among the methods from published papers. We can also see that the proposed transfer learning scheme robustly works for real-noise images through the learning with a very small number of labeled data.
연구 동기 및 목표
- 합성 노이즈(SN)와 실제 노이즈(RN) 사이의 도메인 갭을 해결함으로써, CNN이 SN 기반으로 훈련된 후 RN에서 성능이 떨어지는 분포 불일치 문제를 해결한다.
- 합성 노이즈 분포에 대한 과적합을 방지하기 위해 적응형 인스턴스 정규화(AIN)를 통해 정규화를 도입함으로써 일반화 능력을 향상시킨다.
- 소량의 실제 노이즈 쌍을 사용해 SN 기반으로 훈련된 노이즈 제거기를 RN에 효과적으로 적응시키기 위한 전이 학습 기반의 방법을 개발한다.
- 제한된 실제 데이터로도 다양한 카메라 기기와 노이즈 특성에 대해 잘 일반화됨을 입증한다.
- DND 및 SIDD와 같은 실제 노이즈 기반 벤치마크에서 기존에 전체 실제 데이터셋으로 훈련된 방법들보다도 뛰어난 성능을 기록한다.
제안 방법
- 합성 노이즈에 대해 훈련된 AINDNet(S) 모델을 제안하며, 이는 특징 맵의 정규화를 통해 과적합을 방지하기 위해 적응형 인스턴스 정규화(AIN)를 사용한다.
- 합성 노이즈 데이터를 사용해 AINDNet(S) 버전을 훈련하며, 정규화 파라미터는 지역적 노이즈 수준에 따라 각 공간 위치에서 예측된다.
- 소량의 실제 노이즈 이미지 쌍을 사용해 SN 기반으로 훈련된 네트워크의 AIN 모듈만을 미세조정하는 전이 학습 기반의 방법을 도입한다.
- AIN 모듈에 노이즈 수준 맵을 입력하여 지역적 노이즈 특성에 맞게 공간적으로 적응형 정규화를 가능하게 한다.
- 실제 데이터를 사용해 AIN 레이어의 애파인 파라미터만 업데이트함으로써 주 네트워크 가중치는 유지한다.
- 합성 및 실제 데이터 양쪽에서 L1 또는 L2 손실을 사용해 엔드 투 엔드로 모델을 훈련하며, 실제 데이터는 AIN 모듈의 미세조정에만 사용된다.
실험 결과
연구 질문
- RQ1합성 노이즈로 훈련된 노이즈 제거기가 분포 차이가 존재함에도 불구하고 실제 노이즈에 효과적으로 일반화될 수 있는가?
- RQ2적응형 인스턴스 정규화(AIN)가 네트워크의 정규화를 통해 실제 노이즈에 대한 일반화 능력을 향상시키는 데 얼마나 효과적인가?
- RQ3합성 노이즈에서 실제 노이즈로의 전이 학습이 얼마나 큰 규모의 실제 노이즈 데이터셋이 필요로 하는지를 줄일 수 있는가?
- RQ4소량의 실제 노이즈 쌍(1~2장)만으로도 제안된 전이 학습 기반의 성능 향상은 어느 정도 이루어지는가?
- RQ5AIN 모듈만을 미세조정함으로써 사전 훈련된 합성 노이즈 기반의 노이즈 제거기의 일반화 능력은 유지되면서 실제 노이즈에 적응할 수 있는가?
주요 결과
- 합성 노이즈 데이터로만 훈련된 제안된 AINDNet(S) 모델은 DND 테스트 세트에서 PSNR 39.53 dB를 기록하며, 이는 이전 최고 성능 방법들을 능가한다.
- SIDD에서 단지 32장의 실제 노이즈 쌍만을 사용해도, 전이 학습 버전인 AINDNet+TF는 PSNR 38.75 dB를 기록하며, 전체 320장의 실제 데이터셋으로 훈련된 RIDNet을 초월한다.
- SIDD 검증 세트에서 AINDNet+TF 모델은 PSNR 39.08 dB를 기록하며, 동일한 훈련 데이터를 사용한 최고 보고된 방법(AINDNet+RT, 39.15 dB)보다도 뛰어나다.
- 전이 학습 기반의 방법은 단지 1~2장의 실제 이미지만으로도 뚜렷한 성능 향상을 이끌어내어 데이터 부족 상황에서도 강건함을 입증한다.
- 제거 실험 결과 AIN-ResBlock 아키텍처가 표준 IN 및 게이트드 잔여 블록보다 우수한 성능을 보이며, 특히 실제 노이즈 데이터셋에서 두드러진다.
- 다양한 카메라 기기 간에서의 일반화 능력이 뛰어나, DND 및 SIDD와 같은 다수의 실제 노이즈 벤치마크에서 뛰어난 성능을 기록함으로써 이를 입증한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.