[논문 리뷰] RAM: Residual Attention Module for Single Image Super-Resolution

Jun-Hyuk Kim, Junho Choi외 2명|arXiv (Cornell University)|2018. 11. 29.

Advanced Image Processing Techniques참고 문헌 24인용 수 53

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 경량 잔차 주의 모듈(MAMB)인 MAMNet을 제안한다. MAMB는 채널별 정보, 채널 간 상관관계, 채널별 공간적 상관관계의 세 가지 경로를 통해 특징을 적응적으로 조절한다. 기존 방법들과 비교해 파rameter 수가 적은데도 최신 성능을 달성한다.

ABSTRACT

In recent years, single image super-resolution (SR) methods based on deep convolutional neural networks (CNNs) have made significant progress. However, due to the non-adaptive nature of the convolution operation, they cannot adapt to various characteristics of images, which limits their representational capability and, consequently, results in unnecessarily large model sizes. To address this issue, we propose a novel multi-path adaptive modulation network (MAMNet). Specifically, we propose a multi-path adaptive modulation block (MAMB), which is a lightweight yet effective residual block that adaptively modulates residual feature responses by fully exploiting their information via three paths. The three paths model three types of information suitable for SR: 1) channel-specific information (CSI) using global variance pooling, 2) inter-channel dependencies (ICD) based on the CSI, 3) and channel-specific spatial dependencies (CSD) via depth-wise convolution. We demonstrate that the proposed MAMB is effective and parameter-efficient for image SR than other feature modulation methods. In addition, experimental results show that our MAMNet outperforms most of the state-of-the-art methods with a relatively small number of parameters.

연구 동기 및 목표

• 딥 컨volution 네트워크에서 비적응형 컨볼루션 연산의 한계를 해결한다.
• 이미지 고유의 특징에 기반해 잔차 특징을 적응적으로 조절함으로써 특징 표현을 향상시킨다.
• 경량 다중 경로 아키텍처를 통해 모델 복잡도를 감소시키면서도 성능을 유지하거나 향상시킨다.
• 통합 잔차 블록 내에서 채널별, 채널 간, 공간적 상관관계를 모델링함으로써 표현 능력을 향상시킨다.

제안 방법

• 세 가지 별도의 경로를 통해 특징를 처리하는 다중 경로 적응 조절 블록(MAMB)을 제안한다: 채널별 정보(CSI)를 위한 전역 분산 풀링, CSI를 이용한 채널 간 상관관계 모델링, 그리고 깊이 분산 컨볼루션을 통한 채널별 공간적 상관관계 모델링.
• 세 경로를 잔차 학습 프레임워크에 통합하여 특징 계층을 유지하고 엔드 투 엔드 학습을 가능하게 한다.
• 입력 이미지의 특성에 따라 동적으로 잔차 특징 반응을 조절하기 위해 적응 조절을 사용한다.
• 표현 능력을 극대화하면서 파rameter 수를 최소화하기 위해 MAMB를 경량 블록으로 설계한다.
• 다양한 MAMB 블록을 스태킹하여 이미지 초해상도를 위한 깊은 잔차 네트워크인 MAMNet을 구성한다.
• 실제 세계 및 기준 데이터셋에서 표준 손실 함수(L1 또는 L2 손실)를 사용해 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 다중 경로 적응 조절 메커니즘이 기존 컨볼루션 연산을 초월해 단일 이미지 초해상도에서 특징 표현을 향상시킬 수 있는가?
• RQ2 채널별, 채널 간, 공간적 상관관계의 통합이 모델 성능 및 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 경량 잔차 블록이 정확도와 모델 크기 측면에서 기존 주의 메커니즘을 얼마나 뛰어나게 성능을 내는가?
• RQ4 제안된 MAMB는 다양한 이미지 콘텐츠와 초해상도 스케일에 대해 잘 일반화되는가?

주요 결과

• 제안된 MAMB는 기존 특징 조절 방법보다 단일 이미지 초해상도에서 뛰어난 성능을 달성하며, 특징 표현이 향상된다.
• MAMNet은 기준 데이터셋에서 PSNR 및 SSIM 측면에서 대부분의 최신 기법들을 능가하며, 파라미터 수가 적은데도 성능이 뛰어나다.
• 모델는 강력한 파라미터 효율성을 보이며, 비교적 적은 수의 학습 가능한 파라미터로도 높은 성능을 유지한다.
• 세 경로 설계(CSI, ICD, CSD)가 함께 작용하여 특징 조절 능력을 향상시키고, 더 나은 복원 품질을 이끌어낸다.
• 실험 결과 MAMB를 통한 적응 조절이 큰 계산 비용이 드는 네트워크가 필요로 하는 정도를 줄임을 확인할 수 있다.
• 다양한 초해상도 스케일과 다양한 이미지 콘텐츠에서 일관된 성능 향상이 나타난다.