[논문 리뷰] Image Denoising Using Very Deep Fully Convolutional Encoder-Decoder Networks with Symmetric Skip Connections.

Xiao-Jiao Mao, Chunhua Shen외 1명|arXiv (Cornell University)|2016. 03. 30.

Image and Signal Denoising Methods참고 문헌 8인용 수 55

한 줄 요약

이 논문은 노이즈가 있는 이미지에서 깨끗한 이미지로의 엔드투엔드 매핑을 학습하기 위해 대칭 스킵 연결을 갖춘 매우 깊은 완전 컨volution 신경망 인코더-디코더 아키텍처를 제안한다. 아키텍처는 대칭 스킵 연결을 통해 미세한 세부 정보를 유지함으로써 더 빠른 수렴과 향상된 노이즈 제거 품질을 달성하여 정량적 및 정성적 지표에서 이전 방법들을 크게 능가한다.

ABSTRACT

Image denoising is a long-standing problem in computer vision and image processing, as well as a test bed for low-level image modeling algorithms. In this paper, we propose a very deep encoding-decoding framework for image denoising. Instead of using image priors, the proposed framework learns end-to-end fully convolutional mappings from noisy images to the clean ones. The network is composed of multiple layers of convolution and de-convolution operators. With the observation that deeper networks improve denoising performance, we propose to use significantly deeper networks than those employed previously for low-level image processing tasks such as denoising. We propose to symmetrically link convolutional and de-convolutional layers with skip-layer connections, with which the training converges much faster and attains a higher-quality local optimum. From the image processing point of view, those symmetric connections help preserve image details.

연구 동기 및 목표

• 기존의 이미지 프리오르를 대체하여 엔드투엔드로 학습된 매핑을 사용함으로써 컴퓨터 비전 분야에서 오랫동안 지속된 이미지 노이즈 제거 과제를 해결하고자 한다.
• 이전에 저수준 이미지 처리 작업에서 사용된 것보다 더 깊은 네트워크 아키텍처를 활용하여 노이즈 제거 성능을 향상시키고자 한다.
• 인코더와 디코더 레이어 간의 대칭 스킵 연결을 도입함으로써 훈련 효율성과 해법 품질을 향상시키고자 한다.
• 이미지 프리오르에 의존하지 않고 스킵 연결을 영감으로 삼은 아키텍처 설계를 통해 노이즈 제거 과정에서 미세한 이미지 세부 정보를 유지하고자 한다.

제안 방법

• 프레임워크는 엔드투엔드 특징 학습을 위한 다수의 컨볼루션 및 디컨볼루션 레이어로 구성된 완전 컨볼루션 인코더-디코더 아키텍처를 사용한다.
• 기울기 흐름과 특징 재사용을 촉진하기 위해 대응하는 컨볼루션 및 디컨볼루션 레이어 사이에 대칭 스킵 연결을 도입한다.
• 수동으로 설계된 이미지 프리오르에 의존하지 않고, 노이즈가 있는 입력 이미지에서 깨끗한 출력 이미지로의 직접 매핑을 학습하기 위해 엔드투엔드로 훈련된다.
• 깊은 아키텍처는 노이즈와 이미지 구조의 계층적 표현을 효과적으로 학습할 수 있도록 한다.
• 스킵 연결은 훈련을 안정화시키고 수렴 속도를 향상시키며 고주파 이미지 세부 정보의 보존을 향상시킨다.
• 공간 일관성 유지와 재구성 정밀도 향상을 위해 스킵 연결의 대칭성을 강조한다.

실험 결과

연구 질문

• RQ1 대칭 스킵 연결을 갖춘 매우 깊은 완전 컨볼루션 신경망이 기존 방법보다 이미지 노이즈 제거 성능에서 뛰어나게 될 수 있는가?
• RQ2 엔드투엔드 학습 프레임워크에서 네트워크 깊이를 증가시키면 노이즈 제거 성능에 어떤 영향을 미치는가?
• RQ3 대칭 스킵 연결은 노이즈 제거 과정에서 훈련 수렴과 해법 품질 향상에 어느 정도 기여하는가?
• RQ4 이미지 프리오르에 의존하지 않고도 스킵 연결이 노이즈 제거 과정에서 미세한 이미지 세부 정보를 효과적으로 보존할 수 있는가?

주요 결과

• 제안된 대칭 스킵 연결을 갖춘 깊은 인코더-디코더 네트워크는 기준 아키텍처에 비해 더 빠른 훈련 수렴을 달성한다.
• 대칭 스킵 연결으로 인한 개선된 기울기 흐름 덕분에 손실 곡면에서 더 높은 품질의 국소 최적점에 도달한다.
• 대칭 스킵 연결은 이미지 세부 정보의 보존을 크게 향상시켜 빌드된 출력이 시각적으로 열등한 결과보다 열등하지 않게 한다.
• 정량적 지표와 시각적 품질 모두에서 이전 방법보다 향상된 성능을 보이며, 특히 미세한 질감과 에지 복원에서 뛰어난 성능을 발휘한다.