[논문 리뷰] Channel-wise and Spatial Feature Modulation Network for Single Image Super-Resolution

Yanting Hu, Jie Li외 2명|arXiv (Cornell University)|2018. 09. 28.

Advanced Image Processing Techniques참고 문헌 40인용 수 20

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 채널별 및 공간적 특징 조절(Channnel-wise and Spatial Feature Modulation, CSFM) 네트워크를 제안하며, 채널별 및 공간적 주의 잔차(Channnel-wise and Spatial Attention Residual, CSAR) 블록을 갖춘 계층적 특징 조절 메모리(FMM) 모듈을 연쇄적으로 사용하여 유informative한 특징을 동적으로 강화하고 노이즈를 억제합니다. 게이트드 퓨전 메커니즘은 장기적 맥락을 유지하여 기존 방법보다 파rameter 수가 적은 상태에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

The performance of single image super-resolution has achieved significant improvement by utilizing deep convolutional neural networks (CNNs). The features in deep CNN contain different types of information which make different contributions to image reconstruction. However, most CNN-based models lack discriminative ability for different types of information and deal with them equally, which results in the representational capacity of the models being limited. On the other hand, as the depth of neural networks grows, the long-term information coming from preceding layers is easy to be weaken or lost in late layers, which is adverse to super-resolving image. To capture more informative features and maintain long-term information for image super-resolution, we propose a channel-wise and spatial feature modulation (CSFM) network in which a sequence of feature-modulation memory (FMM) modules is cascaded with a densely connected structure to transform low-resolution features to high informative features. In each FMM module, we construct a set of channel-wise and spatial attention residual (CSAR) blocks and stack them in a chain structure to dynamically modulate multi-level features in a global-and-local manner. This feature modulation strategy enables the high contribution information to be enhanced and the redundant information to be suppressed. Meanwhile, for long-term information persistence, a gated fusion (GF) node is attached at the end of the FMM module to adaptively fuse hierarchical features and distill more effective information via the dense skip connections and the gating mechanism. Extensive quantitative and qualitative evaluations on benchmark datasets illustrate the superiority of our proposed method over the state-of-the-art methods.

연구 동기 및 목표

• 초해상도에서 CNN의 표현 능력이 제한되어 있음을 해결하기 위해 다양한 유형의 특징을 구분하여 처리할 수 있도록 하는 것.
• 깊은 네트워크에서 계층적 특징을 계층 간에 유지함으로써 장기적 정보 흐름을 향상시키는 것.
• 연쇄 잔차 블록 설계를 통해 채널별 및 공간적 주의를 통합하여 특징 조절을 향상시키는 것.
• 기존 방법에 비해 모델 복잡도를 감소시키면서도 뛰어난 재구성 품질을 달성하는 것.

제안 방법

• CSFM 네트워크는 특징 표현을 향상시키기 위해 스택된 특징 조절 메모리(FMM) 모듈을 사용하는 밀집 연결 아키텍처를 채택합니다.
• 각 FMM 모듈은 다중 수준 특징을 조절하기 위해 전역 및 국소 주의를 적용하는 채널별 및 공간적 주의 잔차(CSAR) 블록의 체인을 포함합니다.
• CSAR 블록은 잔차 학습 프레임워크 내에서 채널별 주의와 공간적 주의를 통합하여 중요한 특징을 적응적으로 강조합니다.
• 각 FMM 모듈의 끝에 게이트드 퓨전(GF) 노드를 도입하여 학습 가능한 게이트와 조밀한 스킵 연결을 통해 계층적 특징을 융합합니다.
• 네트워크는 최종 업스케일링 전에 저해상도 입력에서 직접 특징을 처리하는 후처리 업스케일링 기법을 사용합니다.
• 모델은 벤치마크 데이터셋에서 인지적 손실과 재구성 손실을 사용하여 엔드 투 엔드로 훈련됩니다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 초해상도에서 고주파 대비 저주파 특징과 같은 다양한 유형의 특징을 어떻게 더 잘 구분하고 조절할 수 있는가?
• RQ2 매우 깊은 네트워크에서 이미지 복원을 위해 장기적 맥락 정보를 효과적으로 유지할 수 있는 메커니즘은 무엇인가?
• RQ3 연쇄적 주의 메커니즘은 모델의 부피가 증가하지 않도록 하면서도 특징 표현을 향상시킬 수 있는가?
• RQ4 제안된 게이트드 퓨전 메커니즘은 계층적 특징을 유지하는 데 있어 표준 스킵 연결에 비해 어떻게 다른가?

주요 결과

• Urban100 데이터셋에서 CSFM 네트워크는 2×, 3×, 4× 업스케일링 요인일 때 각각 EDSR과 RDN보다 PSNR에서 0.19dB, 0.18dB, 0.14dB 향상되었습니다.
• Manga109 데이터셋에서 CSFM는 2×, 3×, 4× 스케일에서 각각 EDSR보다 0.21dB, 0.32dB, 0.29dB 향상되어 미세 구조 이미지에서 뛰어난 성능을 보였습니다.
• CSFM 모델은 EDSR과 RDN보다 각각 72%와 47% 적은 파라미터를 사용하면서도 더 높은 PSNR를 달성하여 뛰어난 효율성을 보였습니다.
• 시각적 결과에서는 CSFM가 기존 방법에 비해 아티팩트와 왜곡을 줄이며 더 선명한 텍스처와 더 명확한 세부 사항을 생성함을 확인할 수 있었습니다.
• 제거 실험 결과, CSAR 블록과 GF 노드 모두 성능 향상에 기여하는 것으로 확인되었습니다.