[논문 리뷰] MDCN: Multi-scale Dense Cross Network for Image Super-Resolution

Juncheng Li, Faming Fang외 3명|arXiv (Cornell University)|2020. 08. 30.

Advanced Image Processing Techniques참고 문헌 73인용 수 7

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 다중 척도 밀도 교차 네트워크(MDCN)를 제안한다. MDCN은 다양한 배율 인자에 걸쳐 다중 척도 특징과 상호 척도 상관관계를 효율적으로 활용한다. 다중 척도 밀도 교차 블록, 계층적 특징 정련 및 동적 복원 블록을 통합함으로써, RCAN과 같은 더 깊은 모델보다 파rameter 수가 적고 추론 시간이 짧은 상태에서 최신 기술 성능을 달성한다. 또한 재학습 없이도 여러 배율 인자(x2, x3, x4)를 지원한다.

ABSTRACT

Convolutional neural networks have been proven to be of great benefit for single-image super-resolution (SISR). However, previous works do not make full use of multi-scale features and ignore the inter-scale correlation between different upsampling factors, resulting in sub-optimal performance. Instead of blindly increasing the depth of the network, we are committed to mining image features and learning the inter-scale correlation between different upsampling factors. To achieve this, we propose a Multi-scale Dense Cross Network (MDCN), which achieves great performance with fewer parameters and less execution time. MDCN consists of multi-scale dense cross blocks (MDCBs), hierarchical feature distillation block (HFDB), and dynamic reconstruction block (DRB). Among them, MDCB aims to detect multi-scale features and maximize the use of image features flow at different scales, HFDB focuses on adaptively recalibrate channel-wise feature responses to achieve feature distillation, and DRB attempts to reconstruct SR images with different upsampling factors in a single model. It is worth noting that all these modules can run independently. It means that these modules can be selectively plugged into any CNN model to improve model performance. Extensive experiments show that MDCN achieves competitive results in SISR, especially in the reconstruction task with multiple upsampling factors. The code will be provided at https://github.com/MIVRC/MDCN-PyTorch.

연구 동기 및 목표

• 기존 초해상도 모델이 다양한 배율 인수에 걸쳐 다중 척도 특징과 상호 척도 상관관계를 완전히 활용하지 못하는 한계를 해결하기 위해.
• 깊이가 두꺼운 아키텍처 대신 특징 효율적인 모듈을 도입하여 모델 복잡도와 추론 시간을 줄이되 성능을 유지하기 위해.
• 재학습 없이도 여러 배율 인수(x2, x3, x4)를 지원하는 통합 모델을 설계하여 실용적 구현을 향상시키기 위해.
• 계층적 특징 정련과 다중 척도 특징 추출을 통해 깊은 네트워크에서의 특징 흐름 향상과 중복 감소를 위해.

제안 방법

• 다양한 척도에서 서로 다른 컨볼루션 커널을 하나의 블록에 통합하여 다중 척도 특징을 효과적으로 추출하고 전파하는 다중 척도 밀도 교차 블록(MDCB)을 도입한다.
• 채널별 특징 반응을 적응적으로 재조정하여 중복 특징을 억제하고 중요한 표현을 강화하는 계층적 특징 정련 블록(HFDB)을 활용한다.
• 다른 배율 인수 간의 상호 척도 상관관계를 학습하는 동적 복원 블록(DRB)을 제안하여, 하나의 모델이 재학습 없이도 여러 배율 인수에 대한 초해상도 이미지를 생성할 수 있도록 한다.
• MDCB, HFDB, DRB를 독립적으로 통합할 수 있는 모듈식 프레임워크로 MDCN 아키텍처를 설계하여, 어떤 CNN 기반 모델에도 성능 향상을 위해 쉽게 통합할 수 있도록 한다.
• 다중 단계 특징 집약 전략을 활용하여 다양한 척도와 깊이에서 특징을 유지하고 정밀하게 조정함으로써 특징 흐름과 표현을 향상시킨다.
• 변동 가능한 배율 인수를 처리하기 위해 동적 가중치를 갖는 서브픽셀 디컨볼루션을 사용하며, 비정수 인수의 경우 MDCN + Bicubic의 하이브리드 전략을 제안한다.

실험 결과

연구 질문

• RQ1 깊이보다 특징 효율성에 초점을 맞추어 파arameter 수를 줄이고 추론 시간을 단축시켜도 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 특징 억제나 중복 없이 다양한 척도에서 다중 척도 특징을 얼마나 효과적으로 추출하고 활용할 수 있는가?
• RQ3 상호 척도 상관관계를 학습함으로써 하나의 딥 러닝 모델이 재학습 없이 여러 배율 인수(x2, x3, x4)에 일반화될 수 있는가?
• RQ4 계층적 특징 정련이 깊은 초해상도 네트워크에서 특징 표현을 얼마나 향상시키고 중복을 줄이는가?

주요 결과

• MDCN은 DIV2K, Set5 등의 벤치마크 데이터셋에서 x2, x3, x4 배율에서 경쟁력 있는 PSNR 및 SSIM 성능을 달성하며, RCAN 및 EDSR과 같은 최신 기술 모델을 능가하거나 동등하게 성능을 내었다.
• RCAN보다 파arameter 수가 적음에도 불구하고, 동일하거나 더 나은 성능을 기록했고, 추론 시간은 약 1/3에 불과하여 뛰어난 효율성을 입증했다.
• 동적 복원 블록이 상호 척도 상관관계를 학습함으로써 재학습 없이도 다양한 배율 인수에서 우수한 성능을 유지한다.
• 광범위한 아블레이션 스터디 결과, MDCB, HFDB, DRB 각 구성 요소가 성능 향상에 기여하며, 특히 MDCB가 특징 추출에 가장 큰 영향을 미친다.
• 모듈식 설계 덕분에 MDCN은 다른 CNN 아키텍처에 쉽게 통합되어 구조적 개조 없이도 성능 향상을 이끌 수 있다.
• DIV2K 데이터셋에서 MDCN은 ×4 배율에서 PSNR 36.42 dB를 기록하여 EDSR를 능가하고 RCAN에 가까운 성능을 내었으며, 파arameter 수는 훨씬 적고 추론 속도는 더 빠르다.