[논문 리뷰] Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding

Wu, Fangfang, Weisheng Dong외 2명|arXiv (Cornell University)|2018. 07. 18.

Advanced Image Processing Techniques참고 문헌 5인용 수 4

한 줄 요약

이 논문은 구조적 분석 희소 코딩(SASC)을 통해 입력 손상 이미지에서 추정한 내부 희소성 사전과 딥 컨volution 네트워크(DCNN)에서 학습된 외부 사전을 결합함으로써 이미지 복원을 위한 하이브리드 희소성 사전을 제안한다. 이 방법은 대규모 훈련 데이터와 이미지의 내재된 구조를 모두 활용하여 복원 성능을 햖스르며, 노이즈 제거 및 초해상도 복원 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

State-of-the-art approaches toward image restoration can be classified into model-based and learning-based. The former - best represented by sparse coding techniques - strive to exploit intrinsic prior knowledge about the unknown high-resolution images; while the latter - popularized by recently developed deep learning techniques - leverage external image prior from some training dataset. It is natural to explore their middle ground and pursue a hybrid image prior capable of achieving the best in both worlds. In this paper, we propose a systematic approach of achieving this goal called Structured Analysis Sparse Coding (SASC). Specifically, a structured sparse prior is learned from extrinsic training data via a deep convolutional neural network (in a similar way to previous learning-based approaches); meantime another structured sparse prior is internally estimated from the input observation image (similar to previous model-based approaches). Two structured sparse priors will then be combined to produce a hybrid prior incorporating the knowledge from both domains. To manage the computational complexity, we have developed a novel framework of implementing hybrid structured sparse coding processes by deep convolutional neural networks. Experimental results show that the proposed hybrid image restoration method performs comparably with and often better than the current state-of-the-art techniques.

연구 동기 및 목표

• 순수하게 학습 기반 또는 모델 기반의 이미지 복원 방법의 한계를 해결하기 위해 외부 및 내부 사전을 융합한다.
• 구조적 희소 코딩과 딥 러닝을 통합하는 원리적인 프레임워크를 개발한다.
• 하이브리드 희소 코딩의 계산 복잡도를 줄이기 위해 딥 네트워크 기반의 구현 방식을 설계한다.
• 훈련 데이터에 포함되지 않은 텍스처나 패턴이 존재하는 도전적인 이미지에서의 복원 성능을 향상시킨다.

제안 방법

• 딥 컨volution 네트워크를 사용하여 대규모 훈련 데이터셋에서 외부 구조적 희소 사전을 학습한다.
• 자기 유사성과 희소 표현을 활용하여 입력 손상 이미지에서 직접 내부 구조적 희소 사전을 추정한다.
• 두 개의 구조적 희소 사전을 융합하여 외부 데이터와 내재된 이미지 구조의 지식을 통합한 하이브리드 사전을 구성한다.
• 하이브리드 구조적 희소 코딩 과정을 효율적으로 구현하기 위한 새로운 딥 네트워크 프레임워크를 설계한다.
• 이미지 패치를 학습된 변환 도메인에서 희소성 제약 조건을 갖도록 모델링하기 위해 구조적 분석 희소 코딩(SASC) 공식을 사용한다.
• 증강된 저해상도/고해상도 패치 쌍을 사용하여 초해상도 작업에서 다양한 스케일링 인자에 대해 별도의 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 외부 딥 러닝 사전과 내부 희소 코딩 사전을 융합하면 이미지 복원 성능이 향상되는가?
• RQ2 훈련 데이터와 내재된 이미지 구조를 모두 활용할 수 있도록 하이브리드 사전를 체계적으로 구성할 수 있는가?
• RQ3 훈련 데이터에 드문 텍스처나 패턴이 존재하는 이미지 복원에 내부 사전을 통합하면 어떤 영향을 미치는가?
• RQ4 정확도를 손상시키지 않고도 딥 네트워크가 하이브리드 구조적 희소 코딩을 효율적으로 구현할 수 있는가?
• RQ5 제안된 방법이 노이즈 제거 및 초해상도 복원에서 최신 기술 수준의 학습 기반 및 모델 기반 접근법을 초월하는가?

주요 결과

• 이중화된 이미지 복원에서 'barbara' 이미지의 Set10 데이터셋에서 PSNR 27.73 dB를 기록하여 EPLL(25.70 dB)과 IR-CNN(27.38 dB)을 능가한다.
• Set5 데이터셋에서 스케일링 인자 3로 초해상도를 수행한 결과, PSNR 35.56 dB를 달성하여 SRCNN(35.25 dB), VDSR(35.38 dB), DRCN(35.50 dB)을 능가한다.
• Urban100 데이터셋에서 스케일링 인자 4로 수행한 결과, PSNR 25.33 dB를 기록하여 TNRD(24.52 dB), SRCNN(24.52 dB), VDSR(25.14 dB), DRCN(24.94 dB)을 초월한다.
• 시각적 결과는 특히 텍스트나 미세한 패턴 영역에서 섬세한 텍스처와 에지의 우수한 유지 능력을 보여준다.
• 하이브리드 사전 프레임워크는 분포 이탈에 대해 강건하며, 드문 텍스처를 가진 이미지에서 순수 학습 기반 방법보다 뛰어난 성능을 보인다.
• SASC의 네트워크 기반 구현은 높은 복원 정확도를 유지하면서도 효율적인 계산을 가능하게 한다.