[논문 리뷰] MAMNet: Multi-path Adaptive Modulation Network for Image Super-Resolution

Junhyuk Kim, Jun-Ho Choi외 2명|arXiv (Cornell University)|2018. 11. 29.

Advanced Image Processing Techniques참고 문헌 37인용 수 20

한 줄 요약

MAMNet는 이미지 초해상도를 위한 경량이며 다중 경로 적응형 변조 네트워크를 제안하며, 전역 분산 풀링을 통한 채널별 정보(CSI), 완전 연결층을 사용한 채널 간 상관관계(ICD), 그리고 깊이 분리 컨벌루션을 통한 채널별 공간적 상관관계(CSD)를 통해 잔차 특징을 적응적으로 변조함으로써 특징 표현을 향상시킨다. 이 방법은 이전 모델들보다 훨씬 적은 파라미터 수와 더 빠른 추론 속도를 기록하면서도 최신 기준(SOTA)의 PSNR 및 SSIM 점수를 달성한다.

ABSTRACT

In recent years, single image super-resolution (SR) methods based on deep convolutional neural networks (CNNs) have made significant progress. However, due to the non-adaptive nature of the convolution operation, they cannot adapt to various characteristics of images, which limits their representational capability and, consequently, results in unnecessarily large model sizes. To address this issue, we propose a novel multi-path adaptive modulation network (MAMNet). Specifically, we propose a multi-path adaptive modulation block (MAMB), which is a lightweight yet effective residual block that adaptively modulates residual feature responses by fully exploiting their information via three paths. The three paths model three types of information suitable for SR: 1) channel-specific information (CSI) using global variance pooling, 2) inter-channel dependencies (ICD) based on the CSI, 3) and channel-specific spatial dependencies (CSD) via depth-wise convolution. We demonstrate that the proposed MAMB is effective and parameter-efficient for image SR than other feature modulation methods. In addition, experimental results show that our MAMNet outperforms most of the state-of-the-art methods with a relatively small number of parameters.

연구 동기 및 목표

• 깊은 CNN에서 표준 컨벌루션 레이어의 비적응성으로 인해 표현 능력이 제한되고 모델 크기가 커지는 문제를 해결하기 위해.
• 채널별, 채널 간, 채널별 공간적 상관관계라는 세 가지 유형의 특징 정보를 활용하여 초해상도에서의 특징 변조를 향상시키기 위해.
• 주파수 인지 통계와 채널 인지 공간 모델링을 활용하여 특징을 효과적으로 변조하는 경량 잔차 블록(MAMB)을 설계하여 초해상도 작업에 특화된 목적으로.
• 기존 SOTA 방법들과 비교해 모델 복잡도와 추론 시간을 줄이며 향상된 초해상도 성능을 달성하기 위해.

제안 방법

• MAMB 블록은 특징 맵을 처리하기 위해 세 개의 병렬 경로를 사용한다: (1) 전역 분산 풀링을 통한 채널별 정보(CSI)로 주파수 관련 채널 통계를 캡처한다.
• 두 번째 경로는 CSI 벡터에 두 개의 완전 연결층을 적용하여 채널 간 상관관계(ICD)를 모델링하고 채널별 주의 메커니즘을 가능하게 한다.
• 세 번째 경로는 깊이 분리 컨벌루션 레이어를 사용하여 채널별 공간적 상관관계(CSD)를 계산함으로써 각 채널별로 공간적 변조를 가능하게 한다.
• 세 경로의 출력은 융합되어 학습 가능한 스케일링 및 시프팅을 통해 잔차 특징 맵을 변조하고, 이로써 특징 표현을 적응적으로 향상시킨다.
• MAMNet 아키텍처는 스킵 연결을 포함한 다수의 MAMB 블록을 스택하여 이미지 초해상도에 최적화된 깊은 잔차 네트워크를 구성한다.
• 데이터 증강과 학습률 스케줄링을 적용하여 L1 손실과 인지적 손실의 조합을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 다중 경로 적응형 변조 메커니즘이 모델 복잡도를 줄이며 이미지 초해상도에서 특징 표현을 향상시킬 수 있는가?
• RQ2 평균 풀링 대신 전역 분산 풀링을 사용함으로써 초해상도 작업에서 주파수 관련 정보를 더 잘 캡처할 수 있는가?
• RQ3 표준 공간 주의 메커니즘과 비교해 채널별 공간 주의를 사용할 경우 세밀한 무늬와 반복 패턴의 복원 성능이 향상되는가?
• RQ4 제안된 MAMB 블록이 기존 주의 메커니즘보다 파라미터 수를 얼마나 줄일 수 있으며 성능을 유지하거나 향상시키는가?
• RQ5 다양한 데이터셋과 스케일링 인자에서 MAMNet은 기존 SOTA 초해상도 모델들과 비교해 성능과 효율성 면에서 어떻게 비교되는가?

주요 결과

• 모든 벤치마크 데이터셋(BSD100, Urban100, Manga109)에서 ×2, ×3, ×4 스케일링 인자에 대해 MAMNet_ R64C64가 가장 높은 PSNR 및 SSIM 점수를 기록했다.
• Urban100과 Manga109에서 MAMNet은 비교된 모든 SOTA 방법들을 능가했으며, PSNR에서 최대 0.25 dB의 성능 격차를 확보했다.
• MAMNet_ R32C64는 MSRN 및 D-DBPN 대비 각각 43.69%, 43.52%의 파라미터만을 사용하면서도 유사하거나 더 높은 성능을 달성했다.
• BSD100에서 MAMNet_ R16C64는 MSRN보다 높은 PSNR를 기록했으며, 파라미터 수는 23.42%, 추론 시간은 12.20%에 불과했다.
• 시각적 결과는 특히 조밀하게 쓰인 텍스트나 고주파 무늬와 같은 어려운 케이스에서 복잡한 무늬, 반복 패턴, 세밀한 디테일을 뛰어나게 복원함을 보여주었다.
• MSRN 및 D-DBPN 대비 12.20~26.76%의 빠른 추론 속도를 기록하면서도 성능을 유지하거나 초월함으로써 효율성을 입증했다.