[논문 리뷰] A heterogeneous group CNN for image super-resolution

Chunwei Tian, Yanning Zhang외 4명|arXiv (Cornell University)|2022. 09. 26.

Image Processing Techniques and Applications인용 수 4

한 줄 요약

이 논문은 복잡한 환경에서의 단일 이미지 초해상도 복원(SISR)을 위한 이종 그룹 합성곱 신경망(HGSRCNN)을 제안한다. 이는 대칭 및 상보적인 합성곱 단위를 조합한 병렬 이종 블록을 통해 저주파수 구조 정보를 향상시킨다. 본 방법은 다중 수준 향상 메커니즘과 정제 블록을 통합하여 중복된 특징을 억제하고 원본 세부 정보를 유지하며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 경쟁 가능한 추론 속도를 확보한다.

ABSTRACT

Convolutional neural networks (CNNs) have obtained remarkable performance via deep architectures. However, these CNNs often achieve poor robustness for image super-resolution (SR) under complex scenes. In this paper, we present a heterogeneous group SR CNN (HGSRCNN) via leveraging structure information of different types to obtain a high-quality image. Specifically, each heterogeneous group block (HGB) of HGSRCNN uses a heterogeneous architecture containing a symmetric group convolutional block and a complementary convolutional block in a parallel way to enhance internal and external relations of different channels for facilitating richer low-frequency structure information of different types. To prevent appearance of obtained redundant features, a refinement block with signal enhancements in a serial way is designed to filter useless information. To prevent loss of original information, a multi-level enhancement mechanism guides a CNN to achieve a symmetric architecture for promoting expressive ability of HGSRCNN. Besides, a parallel up-sampling mechanism is developed to train a blind SR model. Extensive experiments illustrate that the proposed HGSRCNN has obtained excellent SR performance in terms of both quantitative and qualitative analysis. Codes can be accessed at https://github.com/hellloxiaotian/HGSRCNN.

연구 동기 및 목표

• 기존의 깊은 CNN 모델이 복잡한 환경에서의 초해상도 복원에 대해 낮은 내성적 안정성을 보이는 문제를 해결하기 위해.
• 내부 및 외부 채널 관계를 모델링하여 저주파수 구조 정보를 향상시키기 위해.
• 신호 강화 기반의 순차적 정제 블록을 통해 중복된 특징을 감소시키기 위해.
• 대칭적이고 다중 수준의 향상 메커니즘을 사용하여 원본 이미지의 세부 정보를 유지하기 위해.
• 손상 유형에 특화된 지도 없이도 효율적인 블라인드 초해상도 학습을 가능하게 하기 위해 병렬 업샘플링 메커니즘을 설계하기 위해.

제안 방법

• HGSRCNN은 두 개의 병렬 브랜치를 가진 이종 그룹 블록(HGB)을 사용한다: 대칭 그룹 합성곱 블록과 상보적 합성곱 블록으로 다양한 채널 상호작용을 모델링한다.
• 순차적 신호 강화를 갖춘 정제 블록을 적용하여 중복된 특징을 제거하고 특징 품질을 향상시킨다.
• 다중 수준 향상 메커니즘이 단계 간 대칭 아키텍처를 강제하여 점진적으로 구조적 표현력과 표현 능력을 강화한다.
• 손상 유형에 의존하지 않는 블라인드 초해상도 모델을 훈련하기 위해 병렬 업샘플링 메커니즘을 설계한다.
• 시각적 정확도를 향상시키기 위해 인지적 손실과 적대적 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 성능과 계산 비용의 균형을 고려하여 추론 효율성 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 이종 CNN 아키텍처가 복잡한 환경에서 초해상도 복원 시 저주파수 구조 표현을 향상시킬 수 있는가?
• RQ2 병렬로 배치된 대칭적이고 상보적인 합성곱 단위의 조합이 SISR의 특징 학습에 어떻게 기여하는가?
• RQ3 순차적 정제 블록은 원본 이미지의 세부 정보를 손실 없이 특징의 중복을 얼마나 줄일 수 있는가?
• RQ4 대칭 설계를 가진 다중 수준 향상 메커니즘이 특징의 표현력과 모델의 내성적 안정성 향상에 기여하는가?
• RQ5 제안된 병렬 업샘플링 메커니즘은 블라인드 초해상도 모델의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• HGSRCNN은 ×4 스케일에서 DIV80 데이터셋에서 PSNR 27.60 dB, SSIM 0.7363을 기록하여 RDN, CSFM, SRFBN을 능가한다.
• B100 데이터셋에서 ×4 스케일에서 FSIM 점수 0.9785를 기록하여 CFSRCNN와 ACNet을 능가한다.
• 1024×1024 이미지에 대해 ×2 스케일에서 HGSRCNN의 추론 시간은 0.0418초이며, SRFBN 대비 4.27%에 불과하다.
• 모델의 파라미터 수(2.178M)와 FLOPs(15.05G)는 RDN(21.937M 파라미터, 144.69G FLOPs)보다 현저히 낮다.
• 시각적 비교 결과, HGSRCNN은 VDSR, DRCN, CARN-M, LESRCNN, CFSRCNN, ACNet 대비 확대 영역에서 더 선명한 질감과 명확한 윤곽을 생성한다.
• 다중 수준 향상 메커니즘이 대칭적 특징 학습을 가능하게 하여 다양한 스케일 간의 구조 일관성과 시각적 품질을 향상시킨다.