[논문 리뷰] Joint Sub-bands Learning with Clique Structures for Wavelet Domain Super-Resolution

Zhisheng Zhong, Tiancheng Shen외 3명|arXiv (Cornell University)|2018. 09. 12.

Advanced Image Processing Techniques인용 수 35

한 줄 요약

이 논문은 단일 이미지 초해상도에서 텍스처 세부 정보 복원을 향상시키기 위해 클리크 구조를 가진 업샘플링 모듈을 사용하여 고주파 수상대 계수를 공동으로 학습하는 웨이블릿 도메인 딥 러닝 프레임워크인 슈퍼-해상도 클리크넷(SRCliqueNet)을 제안한다. 네 개의 웨이블릿 수상대에 걸쳐 에지 인식 특징 전파를 활용하고, 특징 추출을 위해 리스-클리크 블록을 도입함으로써, 기준 데이터셋에서 최신 기술(SOTA) 수준의 PSNR 및 SSIM 성능를 달성하며, 특히 미세한 텍스처와 날카운 에지 유지에서 뛰어난 성능을 보인다.

ABSTRACT

Convolutional neural networks (CNNs) have recently achieved great success in single-image super-resolution (SISR). However, these methods tend to produce over-smoothed outputs and miss some textural details. To solve these problems, we propose the Super-Resolution CliqueNet (SRCliqueNet) to reconstruct the high resolution (HR) image with better textural details in the wavelet domain. The proposed SRCliqueNet firstly extracts a set of feature maps from the low resolution (LR) image by the clique blocks group. Then we send the set of feature maps to the clique up-sampling module to reconstruct the HR image. The clique up-sampling module consists of four sub-nets which predict the high resolution wavelet coefficients of four sub-bands. Since we consider the edge feature properties of four sub-bands, the four sub-nets are connected to the others so that they can learn the coefficients of four sub-bands jointly. Finally we apply inverse discrete wavelet transform (IDWT) to the output of four sub-nets at the end of the clique up-sampling module to increase the resolution and reconstruct the HR image. Extensive quantitative and qualitative experiments on benchmark datasets show that our method achieves superior performance over the state-of-the-art methods.

연구 동기 및 목표

• CNN 기반 초해상도 방법에서 흔히 발생하는 과도한 부드러움과 텍스처 세부 정보 손실 문제를 해결하기 위해.
• 변환 도메인에서 웨이블릿 수상대 간 상호의존성을 모델링하여 고주파 수상대 재구성 성능를 향상시키기 위해.
• 클리크 기반 특징 집합을 사용하여 네 개의 웨이블릿 수상대 계수를 공동 예측하고 재구성하는 새로운 업샘플링 모듈을 설계하기 위해.
• 최대한의 정보 흐름을 확보하기 위해 리스-클리크 블록을 도입하여 특징 추출 능력을 향상시키기 위해.
• 광범위한 정량적 및 정성적 평가를 통해 공동 수상대 학습 및 웨이블릿 도메인 최적화의 효과를 검증하기 위해.

제안 방법

• 모든 레이어가 클리크 구조로 연결되어 정보 흐름과 특징 전파를 최대화하는 리스-클리크 블록을 특징 추출 모듈로 사용한다.
• 네 개의 하위 네트워크로 구성된 클리크 업샘플링 모듈을 도입하여 네 개의 수상대(LL, LH, HL, HH)에 대한 고해상도 웨이블릿 계수를 공동 예측한다.
• 서브넷 간 스킵 연결을 통해 수상대 간 에지 특징 상관관계를 활용하고, 고주파 성분의 공동 최적화를 가능하게 한다.
• 수상대 계수 예측 후, 예측된 계수로부터 최종 고해상도 이미지를 재구성하기 위해 역방향 이산 웨이블릿 변환(IDWT)을 적용한다.
• 질감과 구조적 무결성을 유지하기 위해 인지적 손실과 L1 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 성능 향상을 위해 자가 앙상블 전략을 적용하여 SRCliqueNet+ 버전을 도출한다.

실험 결과

연구 질문

• RQ1 웨이블릿 수상대 계수의 공동 학습이 단일 이미지 초해상도에서 텍스처 세부 정보 복원에 기여하는가?
• RQ2 수상대 간 상호관계를 모델링하는 클리크 구조 업샘플링 모듈이 웨이블릿 도메인 초해상도에서 기존 업샘플링 방식을 능가하는가?
• RQ3 리스-클리크 블록이 표준 잔차 또는 조밀한 블록에 비해 초해상도 네트워크에서 특징 표현력과 정보 흐름을 향상시키는가?
• RQ4 픽셀 공간 최적화에 비해 웨이블릿 도메인 최적화가 PSNR, SSIM 및 시각적 품질 측면에서 어떻게 성능가능한가?
• RQ5 제안된 방법이 다양한 확대 배율과 기준 데이터셋에 대해 얼마나 일반화되는가?

주요 결과

• 2× 확대에서 Set5 데이터셋에서 PSNR 38.23 dB, SSIM 0.963을 기록하여 모든 최신 기술(SOTA) 방법을 능가한다.
• 4× 확대에서 Set14 데이터셋에서 PSNR 32.61 dB, SSIM 0.903을 기록하며, EDSR 및 D-DBPN을 초월하며, 자가 앙상블 적용 시 추가 성능 향상(SRCliqueNet+)을 보였다.
• 시각적 비교 결과, SRCliqueNet은 간판의 글자나 줄무늬 제스처와 같은 더 날카운 텍스처를 훨씬 더 적은 흐림으로 재구성한다.
• 클리크 업샘플링을 통한 공동 수상대 학습은 높은 고주파 성분 유지에 기여하며, 모든 데이터셋에서 더 높은 SSIM 및 PSNR 값으로 확인되었다.
• 절단 분석 결과, 리스-클리크 블록과 클리크 업샘플링 모듈이 성능 향상에 필수적이며, 각 구성 요소가 최종 성능에 크게 기여하는 것으로 확인되었다.
• SRCliqueNet+는 4× 확대에서 Set14 데이터셋에서 PSNR 32.67 dB, SSIM 0.903을 기록하여 자가 앙상블 전략의 효과를 입증하였다.