[논문 리뷰] Fully Convolutional Pixel Adaptive Image Denoiser

Sungmin Cha, Taesup Moon|arXiv (Cornell University)|2018. 07. 19.

Image and Signal Denoising Methods참고 문헌 38인용 수 4

한 줄 요약

이 논문은 지역 이미지 콘텐츠에 따라 노이즈 제거 강도를 적응적으로 조정할 수 있도록 각 픽셀에서 학습 가능한 다항식 매핑을 활용하는 완전 컨volution 신경망(FC-AIDE)을 제안한다. 스텐의 비편향 위험 추정(Stein's Unbiased Risk Estimate, SURE)을 사용하여 진정한 평균 제곱오차(MSE)의 비편향 추정치를 유도함으로써, 미분 가능한 손실 함수를 통해 엔드 투 엔드 학습이 가능하게 하여, 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며 기존 방법 대비 뚜렷한 PSNR 향상을 보였다.

ABSTRACT

We propose a new image denoising algorithm, dubbed as Fully Convolutional Adaptive Image DEnoiser (FC-AIDE), that can learn from an offline supervised training set with a fully convolutional neural network as well as adaptively fine-tune the supervised model for each given noisy image. We significantly extend the framework of the recently proposed Neural AIDE, which formulates the denoiser to be context-based pixelwise mappings and utilizes the unbiased estimator of MSE for such denoisers. The two main contributions we make are; 1) implementing a novel fully convolutional architecture that boosts the base supervised model, and 2) introducing regularization methods for the adaptive fine-tuning such that a stronger and more robust adaptivity can be attained. As a result, FC-AIDE is shown to possess many desirable features; it outperforms the recent CNN-based state-of-the-art denoisers on all of the benchmark datasets we tested, and gets particularly strong for various challenging scenarios, e.g., with mismatched image/noise characteristics or with scarce supervised training data. The source code of our algorithm is available at https://github.com/csm9493/FC-AIDE-Keras.

연구 동기 및 목표

• 지역 이미지 콘텐츠에 따라 각 픽셀에서 노이즈 제거 강도를 적응적으로 조정할 수 있는 완전 컨volution 신경망 기반의 이미지 노이즈 제거 방법을 개발한다.
• 고정된 노이즈 제거 강도를 가지는 모델의 한계를 보완하기 위해 적응적인 노이즈 처리를 위한 학습 가능한 다항식 계수를 도입한다.
• SURE를 사용하여 진정한 MSE의 비편향이고 미분 가능한 추정치를 제공함으로써 엔드 투 엔드 학습을 가능하게 하여 일반화 능력과 성능을 향상시킨다.
• BSD68, Set12, Urban100 및 의료 영상 포함 다양한 데이터셋에서 뛰어난 노이즈 제거 성능을 입증한다.

제안 방법

• 지역 이미지 통계에 기반하여 차수 d ∈ {1,2}인 각 픽셀 다항식 매핑을 사용하는 완전 컨볼루션 신경망을 사용하여 노이즈 제거 강도를 적응적으로 조정한다.
• 스텐의 비편향 위험 추정(SURE)에서 유도된 새로운 손실 함수를 도입하여, 진정한 MSE를 실제 정답 없이도 비편향으로 추정할 수 있다.
• 손실 함수는 비가역적이며, 닫힌 형태의 표현식을 통해 자코비안의 트레이스를 추정함으로써 엔드 투 엔드 학습이 가능하도록 설계되었다.
• 학습은 두 단계로 진행된다: 지도 학습 전훈(FC-AIDE_S) 후, SURE 기반 손실을 사용한 적응형 미세조정(FC-AIDE_S+FT)이다.
• 미세조정 단계에서 자기 앙상블 데이터 증강을 적용하여 안정성과 성능을 향상시켰다.
• 각 노이즈 수준에 대해 별도의 검증 세트를 사용하여 ℓ₂-스parser 정규화(ℓ₂-SP) 및 조기 정지의 하이퍼파rameter를 선택하였다.

실험 결과

연구 질문

• RQ1 학습 가능한 공간적 변동 노이즈 제거 계수를 학습함으로써, 고정된 강도를 가지는 노이즈 제거기보다 더 뛰어난 성능을 내는 완전 컨볼루션 픽셀 적응형 노이즈 제거 네트워크를 설계할 수 있는가?
• RQ2 엔드 투 엔드 학습 중에 진정한 MSE의 비편향이고 효과적인 대체 손실 함수로 제안된 SURE 기반 손실 함수가 성능을 보장하는가?
• RQ3 개별 다항식 계수(a₀, a₁, a₂)는 노이즈 제거 성능에 어떤 기여를 하는가? 이들을 제거했을 경우의 영향은 무엇인가?
• RQ4 성능과 안정성을 극대화하기 위해 미세조정 단계에서 최적의 데이터 증강 전략과 하이퍼파rameter 선택 전략은 무엇인가?
• RQ5 SURE 기반 손실을 사용한 적응형 미세조정은 표준 엔드 투 엔드 학습 대비 PSNR 및 수렴 안정성 측면에서 어떻게 비교되는가?

주요 결과

• FC-AIDE_S+FT는 σ=25일 때 BSD68에서 29.31 dB의 PSNR를 기록하여, FC-AIDE_S(27.66 dB) 및 아블레이션 모델인 FC-AIDE_S+FT(d=2, a₀-only)(19.20 dB)를 크게 앞서며 성능을 뛰어나게 했다.
• 아블레이션 연구 결과, a₁ 및 a₂ 계수는 필수적임을 확인했다. 이들을 제거하면 성능이 거의 노이즈 수준(20.46 dB)으로 떨어지며, 이는 적응형 노이즈 제거에서 이들의 핵심적인 역할을 증명한다.
• 실험적으로 SURE 기반 손실은 비편향임을 입증하였으며, 100개의 노이즈 실현에서 MSE와 손실 값의 차이 히스토GRAM이 거의 0에 집중되어 있음을 확인했다.
• 자기 앙상블 데이터 증강을 사용한 적응형 미세조정은 증강 없이 또는 훈련/검증 증강만 사용한 경우보다 더 빠른 수렴과 높은 PSNR를 달성했다.
• 모델는 5 에포크 내에 최대 PSNR 향상을 달성하였으며, 안정적인 수렴으로 인해 조기 정지가 가능했고, 전체 미세조정 전략은 모든 아블레이션 버전을 능가하는 성능을 보였다.