[논문 리뷰] Self-Supervised Fast Adaptation for Denoising via Meta-Learning

Seunghwan Lee, Donghyeon Cho외 2명|arXiv (Cornell University)|2020. 01. 09.

Image and Signal Denoising Methods참고 문헌 31인용 수 8

한 줄 요약

이 논문은 아키텍처 변경 없이 사전 훈련된 지도 학습 기반 노이즈 제거 네트워크의 테스트 시 성능을 향상시키기 위해 내부 이미지의 자기유사성(self-similarity)을 활용하는 메타학습 기반의 자기지도 학습 미세조정 방법을 제안한다. 이는 아키텍처 변경 없이도 최신 기술 수준의 성능을 달성한다. 이 방법은 노이즈 수준 인식 메타학습을 통해 빠르고 적응형 파rameter 업데이트를 가능하게 하여 다양한 벤치마크에서 노이즈 제거 품질을 크게 향상시킨다.

ABSTRACT

Under certain statistical assumptions of noise, recent self-supervised approaches for denoising have been introduced to learn network parameters without true clean images, and these methods can restore an image by exploiting information available from the given input (i.e., internal statistics) at test time. However, self-supervised methods are not yet combined with conventional supervised denoising methods which train the denoising networks with a large number of external training samples. Thus, we propose a new denoising approach that can greatly outperform the state-of-the-art supervised denoising methods by adapting their network parameters to the given input through selfsupervision without changing the networks architectures. Moreover, we propose a meta-learning algorithm to enable quick adaptation of parameters to the specific input at test time. We demonstrate that the proposed method can be easily employed with state-of-the-art denoising networks without additional parameters, and achieve state-of-the-art performance on numerous benchmark datasets.

연구 동기 및 목표

• 테스트 시 노이즈 분포가 훈련 데이터와 다를 경우 지도 학습 기반 노이즈 제거 네트워크에서 발생하는 도메인 불일치 문제를 해결하기 위해.
• 아키텍처 변경 없이도 최신 기술 수준의 지도 학습 기반 노이즈 제거 성능을 향상시키기 위해.
• 자기지도 학습과 메타학습을 활용해 추론 중에 빠르고 적응형 파rameter 미세조정을 가능하게 하기 위해.
• 저조도 또는 고감도(ISO) 조건에서 복원 품질을 향상시키기 위해 내부 이미지 자기유사성(패치 재현)을 활용하기 위해.

제안 방법

• 두 단계로 구성된 노이즈 제거 프레임워크: 첫 번째 단계에서는 사전 훈련된 지도 학습 네트워크를 사용하고, 두 번째 단계에서는 내부 이미지 통계 기반 자기지도 손실을 활용해 테스트 시에 미세조정한다.
• 자기지도 학습은 Noise2Self 스타일의 훈련 방식을 통해 구현되며, 동일한 이미지의 손상된 복제본으로부터 패치를 예측함으로써 자기유사성을 활용한다.
• 메타학습을 통해 추론 중에 새로운 입력 이미지에 대해 신속하게 적응할 수 있도록 네트워크를 훈련시킨다. 이는 적응 단계를 최소화한다.
• 적응 과정은 노이즈 수준 인식 손실 함수를 사용하는 가속화된, 미분 가능한 반복적 미세조정 전략을 사용하며, 이미지의 구조를 유지한다.
• 이 방법은 아키텍처에 종속되지 않으며, FFDNet, MemNet, DnCNN, RDN 등 어떤 사전 훈련된 노이즈 제거 네트워크에도 아키텍처 수정 없이 적용 가능하다.
• 메타러닝러는 훈련 중에 다양한 테스트 이미지를 시뮬레이션함으로써 신속한 적응 정책을 학습하며, 추론 시에 신속한 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 테스트 시 자기지도 학습 기반 적응이 사전 훈련된 지도 학습 기반 노이즈 제거 네트워크의 성능을 상당히 향상시킬 수 있는가?
• RQ2 메타학습이 도메인 이동 상황에서 빠르고 정확한 파rameter 적응을 가능하게 하는 데 얼마나 효과적인가?
• RQ3 외부 정제된 데이터 없이 내부 이미지 자기유사성은 노이즈 제거 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 아키텍처 수정 없이 다양한 아키텍처와 벤치마크 데이터셋에 일반화 가능한가?
• RQ5 지도 학습 기반 사전 훈련과 자기지도 학습 기반 테스트 시 적응의 조합이 순수하게 지도 학습 또는 자기지도 학습 기반 베이스라인을 초월하는가?

주요 결과

• 제안된 방법은 Set14, Set5, DIV80 등 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 기존 방법 대비 최대 0.5 dB의 PSNR 향상을 기록했다.
• MetaRIDNet, MetaRDN, MetaDnCNN 모델은 각각 20회의 적응 단계를 거친 블라인드 노이즈 제거 조건에서 Set14에서 PSNR 36.20, 36.13, 36.05를 기록했다.
• 모델 아키텍처에 관계없이 FFDNet, MemNet, DnCNN, RDN 등 모든 테스트된 네트워크에서 성능 향상이 일관되게 관찰되었다.
• 단지 5회의 적응 단계만으로도 사전 훈련된 버전 대비 0.1–0.3 dB의 향상을 달성하여 빠른 수렴을 입증했다.
• 노이즈 수준과 이미지 콘텐츠에 관계없이 성능 향상이 안정적으로 유지되어 추론 중 자기유사성 활용의 효과를 확인했다.
• 메타학습 기반 적응은 최소한의 계산 오버헤드로 빠른 추론을 가능하게 하여 실시간 응용에 적합하다.