[논문 리뷰] Convolutional Neural Network with Median Layers for Denoising Salt-and-Pepper Contaminations

Luming Liang, Sen Deng외 4명|arXiv (Cornell University)|2019. 08. 18.

Image and Signal Denoising Methods참고 문헌 10인용 수 7

한 줄 요약

이 논문은 고수준의 소금과胡椒 노이즈로 오염된 이미지의 노이즈 제거를 위해 중앙값 레이어—특징 맵 전역에서 국소적 이웃의 중앙값을 계산하는 공간적 연산—를 통합한 새로운 딥 완전 컨volution 신경망을 제안한다. 사전 처리나 손실 함수의 점진적 조정 없이 네트워크 아키텍처에 직접 중앙값 레이어를 통합함으로써, 기존 방법보다 PSNR에서 1–2 dB 향상된 최신 기술 수준의 성능을 달성하였으며, 특히 극단적인 노이즈 수준(예: 70–90%)에서 뛰어난 성능을 보였다.

ABSTRACT

We propose a deep fully convolutional neural network with a new type of layer, named median layer, to restore images contaminated by the salt-and-pepper (s&p) noise. A median layer simply performs median filtering on all feature channels. By adding this kind of layer into some widely used fully convolutional deep neural networks, we develop an end-to-end network that removes the extremely high-level s&p noise without performing any non-trivial preprocessing tasks, which is different from all the existing literature in s&p noise removal. Experiments show that inserting median layers into a simple fully-convolutional network with the L2 loss significantly boosts the signal-to-noise ratio. Quantitative comparisons testify that our network outperforms the state-of-the-art methods with a limited amount of training data. The source code has been released for public evaluation and use (https://github.com/llmpass/medianDenoise).

연구 동기 및 목표

• 기존의 기울기 기반 방법이 오염된 픽셀에서 신뢰할 수 없는 기울기를 유발하여 실패하는 극도로 높은 수준의 소금과胡椒 노이즈를 가진 이미지의 노이즈 제거 문제를 해결하기 위해.
• 기존의 학습 기반 방법들이 복잡한 손실 함수 점진 조정(L2에서 L0로 전환 등)이나 정제된 데이터 쌍을 필요로 하는 한계를 극복하기 위해.
• 특히 중앙값 필터링과 같은 전통적인 비선형 신호 처리 기법을 딥 신경망 내에서 학습 가능한 레이어로 통합하여 인파르스 노이즈에 대한 강건성을 향상시키기 위해.
• 사전 처리 단계 없이도 끝에서 끝까지 학습 가능한 네트워크를 개발하여 고수준의 소금과胡椒 노이즈를 제거하기 위해.
• 중앙값 레이어가 L1 기반의 편차를 최소화함으로써 효과적인 정규화 요소로 작용하며, 노이즈가 많은 영역에서 특징 품질을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 특징 맵의 모든 특징 채널에 대해 국소적 공간 이웃에서 중앙값을 계산하는 '중앙값 레이어'라는 새로운 레이어 유형을 도입한다.
• 중앙값 레이어는 각 공간 위치와 모든 채널에 대해 고정 크기의 커널(예: 3×3) 내에서 중앙값을 계산하여 인파르스 노이즈를 효과적으로 억제하면서도 에지 보존을 유지한다.
• 완전 컨volution 신경망 아키텍처에 중앙값 레이어를 삽입하여 스케일업 또는 잔차 블록 내의 표준 컨볼루션 레이어를 대체하거나 보완한다.
• 정제된 기준 이미지나 손실 함수 점진 조정이 필요 없이 표준 L2 손실을 사용하여 엔드 투 엔드로 네트워크를 학습시키며, 노이즈-노이즈 쌍을 사용한 학습이 가능하다.
• 수학적으로 중앙값이 절대 편차의 합(L1 노름)을 최소화한다는 성질을 활용하여, 노이즈가 많은 특징에 대해 강력한 정규화 요소로 작용한다.
• 기존의 딥 네트워크(예: U-Net 스타일)와 호환되도록 아키텍처를 설계하여, 성능 향상을 위해 중앙값 레이어를 즉각 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 신경망 내부에 학습 가능한 레이어로 중앙값 필터링 연산을 효과적으로 통합하여 소금과胡椒 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ2 기존 CNN 아키텍처에 중앙값 레이어를 삽입함으로써 복잡한 손실 스케줄링이나 정제된 감독 없이도 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 특히 고수준의 노이즈 수준(예: 70–90%)에서 최신 기술 수준의 방법과 비교해 어떤 성능을 보이는가?
• RQ4 L2 손실로 학습된 단일 모델이 중앙값 레이어를 사용함으로써 다양한 노이즈 수준에 일반화될 수 있는가? 이는 적응형 손실 함수가 필요 없음을 의미한다.
• RQ5 네트워크 내부에서 중앙값 레이어의 위치와 깊이 배치가 특징 품질과 최종 노이즈 제거 정확도에 어떤 영향을 미치는가?

주요 결과

• 90% 소금과胡椒 노이즈가 있는 Lenna 이미지에서 제안된 중앙값 레이어를 갖춘 네트워크는 Noise2Noise(24.89 dB)를 크게 능가하는 PSNR 33.07 dB를 달성하였다.
• 70% 노이즈 수준에서 중앙값 레이어가 포함된 모델은 동일한 네트워크에서 중앙값 레이어가 없는 경우보다 평균적으로 0.5 dB 향상된 PSNR를 기록하여 일관된 성능 향상을 입증하였다.
• 여러 데이터셋에서 평균 PSNR 기준으로 최신 기술 수준의 Noise2Noise 방법을 1–2 dB 이상 앞서며, 특히 고수준 노이즈에서 뛰어난 성능을 보였다.
• 정성적 결과 분석에서 제안된 방법은 Noise2Noise에서 흔히 발생하는 블록 아티팩트와 에지 흐림 현상을 줄였으며, 날카로운 전이와 이진 패턴이 많은 이미지에서 특히 두드러진 개선 효과를 보였다.
• 표준 L2 손실로 학습된 모델가 다양한 노이즈 수준에 일반화되었으며, 손실 함수 적응 조정이 필요 없었고, 이는 중앙값 레이어가 효과적인 정규화 요소로 작용한다는 것을 시사한다.
• 소스 코드와 사전 학습 모델은 https://github.com/llmpass/medianDenoise 에 공개되어 재현성과 향후 연구를 가능하게 하였다.