[논문 리뷰] Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation
이 논문은 깨끗한-노이즈 이미지 쌍의 연합 분포를 두 개의 대립적인 생성 및 판별 경로를 통해 동시 학습하는 통합 이중 적대적 네트워크(DANet)를 제안한다: 노이즈 이미지를 깨끗한 이미지로 매핑하는 디노이저와 깨끗한 이미지를 노이즈 이미지로 매핑하는 생성자이다. 이러한 두 모델을 이중 적대적 방식으로 훈련시킴으로써, 실제 이미지 디노이징에서 최고 성능을 달성하고 고해상도의 노이즈 생성도 가능해지며, 학습된 생성자를 활용한 데이터 증강을 통해 성능이 추가로 향상된다.
Real-world image noise removal is a long-standing yet very challenging task in computer vision. The success of deep neural network in denoising stimulates the research of noise generation, aiming at synthesizing more clean-noisy image pairs to facilitate the training of deep denoisers. In this work, we propose a novel unified framework to simultaneously deal with the noise removal and noise generation tasks. Instead of only inferring the posteriori distribution of the latent clean image conditioned on the observed noisy image in traditional MAP framework, our proposed method learns the joint distribution of the clean-noisy image pairs. Specifically, we approximate the joint distribution with two different factorized forms, which can be formulated as a denoiser mapping the noisy image to the clean one and a generator mapping the clean image to the noisy one. The learned joint distribution implicitly contains all the information between the noisy and clean images, avoiding the necessity of manually designing the image priors and noise assumptions as traditional. Besides, the performance of our denoiser can be further improved by augmenting the original training dataset with the learned generator. Moreover, we propose two metrics to assess the quality of the generated noisy image, for which, to the best of our knowledge, such metrics are firstly proposed along this research line. Extensive experiments have been conducted to demonstrate the superiority of our method over the state-of-the-arts both in the real noise removal and generation tasks. The training and testing code is available at https://github.com/zsyOAOA/DANet.
연구 동기 및 목표
- 수작업으로 설계된 노이즈 및 이미지 사전 지식에 의존하는 전통적인 MAP 기반 디노이징 방법의 한계를 해결하기 위해.
- 실생활 이미지 디노이징과 합성 노이즈 생성을 동시에 수행하는 통합 딥 러닝 프레임워크를 개발하기 위해.
- 데이터에서 직접 연합 분포 $p(\mathbf{x}, \mathbf{y})$ 를 학습하여 수작업으로 설계된 노이즈 모델 및 이미지 사전 지식이 필요 없도록 하기 위해.
- 기존 문헌에서 다루지 않은, 생성된 노이즈 이미지의 품질을 객관적으로 평가할 수 있는 새로운 지표를 제안하기 위해.
- 훈련된 노이즈 생성자를 활용해 추가적인 깨끗한-노이즈 쌍을 합성함으로써 디노이저의 성능을 향상시키기 위한 데이터 증강을 통해 성능을 향상시키기 위해.
제안 방법
- 연합 분포 $p(\mathbf{x}, \mathbf{y})$ 를 두 가지 형태로 분해: $p(\mathbf{x}|\mathbf{y})p(\mathbf{y})$ 와 $\int p(\mathbf{y}|\mathbf{x}, \mathbf{z})p(\mathbf{x})p(\mathbf{z})d\mathbf{z}$ 로 표현하며, 각각 디노이저와 생성자에 의해 근사된다.
- 디노이저와 생성자를 이중 적대적 방식으로 훈련하여, 디노이저는 노이즈 이미지를 깨끗한 이미지로 매핑하고, 생성자는 깨끗한 이미지를 노이즈 이미지로 매핑한다.
- 생성적 적대적 신경망(GAN) 기반의 적대적 손실을 사용하여 생성된 노이즈 이미지가 실제 노이즈 이미지와 구별되지 않도록 보장한다.
- 훈련된 생성자를 활용해 새로운 깨끗한-노이즈 쌍을 합성하여 디노이저를 재훈련함으로써 일반화 능력과 성능을 향상시킨다.
- 생성된 노이즈 이미지의 현실성 평가를 위한 두 가지 새로운 지표인 노이즈 품질 점수(NQS)와 인지 유사도 점수(PSS)를 도입한다.
- 구조적 및 질감 정보를 유지하기 위해 적대적 손실, 재구성 손실, 인지 손실을 조합하여 모델을 엔드 투 엔드로 훈련시킨다.
실험 결과
연구 질문
- RQ1수작업으로 설계된 노이즈나 이미지 사전 지식에 의존하지 않고도, 실생활 이미지 디노이징과 노이즈 생성을 동시에 학습할 수 있는 통합 딥 러닝 프레임워크는 가능한가?
- RQ2디노이저와 생성자를 이중 적대적으로 훈련시키는 방식이, 최고 수준의 기존 방법들과 비교해 디노이징 및 노이즈 생성 성능 향상에 얼마나 효과적인가?
- RQ3학습된 노이즈 생성자를 활용해 훈련 데이터를 증강하고 디노이저 성능을 추가로 향상시킬 수 있는가?
- RQ4특히 실제 노이즈 이미지와 비교할 때, 생성된 노이즈 이미지의 현실성을 평가할 수 있는 신뢰할 수 있는 정량적 지표는 무엇인가?
- RQ5기존의 $p(\mathbf{x}|\mathbf{y})$ 만을 모델링하는 MAP 기반 방법에 비해, $p(\mathbf{x}, \mathbf{y})$ 를 함께 모델링하는 방식이 일반화 능력을 어떻게 향상시키는가?
주요 결과
- 제안된 GDANet는 DND 벤치마크에서 PSNR 39.58 dB, SSIM 0.9545를 기록하여 최고 성능을 보이는 VDN보다 PSNR에서 0.2 dB 높은 성능을 달성했다.
- Nam 벤치마크에서는 GDANet가 PSNR 39.91 dB, SSIM 0.9693을 기록하여 VDN 및 CBDNet와 같은 다른 방법들보다 뚜렷이 뛰어난 성능을 보였다.
- 증강된 데이터로 훈련된 개선된 모델인 GDANet$_+$ 는 추가로 향상된 성능을 보였으며, DND에서는 PSNR 39.58 dB, Nam에서는 PSNR 39.79 dB를 기록하여 데이터 증강의 효과를 입증했다.
- 제안된 노이즈 품질 점수(NQS)와 인지 유사도 점수(PSS)는 생성된 노이즈 이미지의 현실성을 효과적으로 정량화하며, 이 연구 분야에서 처음으로 도입된 지표이다.
- 그림 6과 그림 7의 시각적 비교 결과, GDANet는 복잡한 노이즈 영역에서 경쟁 기법들보다 더 많은 구조적 및 질감 정보를 유지하고 있음을 확인할 수 있었다.
- GDANet는 새로운 노이즈 유형에 대해 잘 일반화되며, 훈련 및 테스트 데이터가 유사한 노이즈 특성을 공유할 경우 GDANet$_+$ 가 더 뛰어난 성능을 보였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.