[논문 리뷰] Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

Xiao-Jiao Mao, Chunhua Shen외 1명|arXiv (Cornell University)|2016. 03. 30.

Advanced Image Processing Techniques참고 문헌 9인용 수 1,087

한 줄 요약

이 논문은 대단히 깊은 완전 합성곱 인코더-디코더 네트워크(RED-Net)와 대칭적인 스킵 연결을 통해 이미지 노이즈 제거와 초해상도를 엔드투엔드로 수행하고, 단일 모델로 다중 손상 수준을 처리하며 최첨단 성능을 달성하는 것을 제안한다.

ABSTRACT

In this paper, we propose a very deep fully convolutional encoding-decoding framework for image restoration such as denoising and super-resolution. The network is composed of multiple layers of convolution and de-convolution operators, learning end-to-end mappings from corrupted images to the original ones. The convolutional layers act as the feature extractor, which capture the abstraction of image contents while eliminating noises/corruptions. De-convolutional layers are then used to recover the image details. We propose to symmetrically link convolutional and de-convolutional layers with skip-layer connections, with which the training converges much faster and attains a higher-quality local optimum. First, The skip connections allow the signal to be back-propagated to bottom layers directly, and thus tackles the problem of gradient vanishing, making training deep networks easier and achieving restoration performance gains consequently. Second, these skip connections pass image details from convolutional layers to de-convolutional layers, which is beneficial in recovering the original image. Significantly, with the large capacity, we can handle different levels of noises using a single model. Experimental results show that our network achieves better performance than all previously reported state-of-the-art methods.

연구 동기 및 목표

• 이미지 복원에서 매우 깊은 네트워크를 사용하는 동기를 제시하여 노이즈 제거 및 초해상도 성능을 향상시킨다.
• 이미지 디테일을 보존하고 깊은 네트워크의 효과적인 학습을 가능하게 하는 대칭 인코더-디코더 아키텍처(RED-Net)를 제안한다.
• 상응하는 인코더/디코더 계층 간의 스킵 연결을 도입하여 그래디언트 흐름과 디테일 보존을 촉진한다.
• 단일의 고용량 모델이 다중 노이즈 수준과 다운/업샘플링 인수들을 처리할 수 있음을 보여준다.
• 데이터세트와 작업 전반에 걸쳐 현대 방법들에 비해 개선을 보이는 광범위한 경험적 증거를 제공한다.

제안 방법

• 대칭 합성곱 및 역합성곱 계층을 갖춘 완전 합성곱 인코더-디코더 네트워크(RED-Net)를 구성한다.
• 3x3 커널을 사용하고, 풀링을 사용하지 않으며 각 계층 뒤에 활성화(정류)를 적용한다.
• 상응하는 인코더와 디코더 계층 간의 원소별 스킵 연결을 추가하여 이미지 디테일을 전달하고 그래디언트 흐름을 돕는다.
• 엔드투엔드 평균제곱오차 최소화를 통해 잔차를 예측하도록 Adam 옵티마이저를 사용하여 학습한다.
• 단일의 대용량 모델로 다중 노이즈 수준과 스케일 팩터를 처리하는 능력을 시연한다.

실험 결과

연구 질문

• RQ1 극도로 깊은 완전 합성곱 인코더-디코더 네트워크가 기존 방법들보다 이미지 노이즈 제거와 초해상도 성능을 향상시킬 수 있는가?
• RQ2 대칭 스킵 연결이 매우 깊은 네트워크의 학습을 가능하게 하고 복원 과정에서 이미지 디테일을 보존하게 하는가?
• RQ3 단일 RED-Net 모델이 작업별 재훈련 없이 다중 손상 수준과 스케일링 팩터를 안정적으로 처리할 수 있는가?
• RQ4 제안된 아키텍처가 표준 노이즈 제거 및 초해상도 벤치마크에서 현대 방법들과 어떻게 비교되는가?

주요 결과

• 스킵 연결이 있는 RED-Net이 노이즈 제거 및 초해상도 벤치마크에서 최첨단 성능을 달성한다.
• 대칭 스킵 연결을 가진 더 깊은 네트워크가 더 얕은 변형 및 다른 방법들보다 우수하며, 노이즈 수준이 증가할수록 이득이 커진다.
• 단일 RED-Net 모델이 다중 노이즈 수준과 스케일링 팩터를 효과적으로 처리하여 다수의 전문 모델 필요성을 줄인다.
• 스킵 연결은 그래디언트 흐름을 개선하고 이미지 디테일을 보존하여 더 깊은 아키텍처의 학습을 가능하게 한다.
• 실험 결과는 노이즈 제거에서 BM3D, NCSR, EPLL, PCLR, WNNM과 같은 방법들에 비해 PSNR/SSIM의 정량적 향상을 보여주고, 초해상도에서는 CSCN, CSC, TSE, ARFL+와 같은 방법들보다 우수함을 시사한다.