[논문 리뷰] Single Image Super-Resolution via Residual Neuron Attention Networks

Wenjie Ai, Xiaoguang Tu외 2명|arXiv (Cornell University)|2020. 05. 21.

Advanced Image Processing Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 잔차 뉴런 주의망(RNAN)을 제안하며, 뉴런 수준의 특징 의존성과 전반적 맥락을 모델링하기 위해 새로운 잔차 뉴런 주의(RNA) 메커니즘을 갖춘 글로벌 맥락 강화 잔차 그룹(GCRG)을 활용한다. RNAN은 더 적은 파라미터로 최신 기술 수준의 성능을 달성하여 EDSR 및 RDN과 같은 기법들보다 벤치마크 데이터셋에서 뛰어난 성능을 보이며, 높은 시각적 정확도와 정량적 지표를 유지한다.

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have achieved impressive performance in Single Image Super-Resolution (SISR). To further improve the performance, existing CNN-based methods generally focus on designing deeper architecture of the network. However, we argue blindly increasing network's depth is not the most sensible way. In this paper, we propose a novel end-to-end Residual Neuron Attention Networks (RNAN) for more efficient and effective SISR. Structurally, our RNAN is a sequential integration of the well-designed Global Context-enhanced Residual Groups (GCRGs), which extracts super-resolved features from coarse to fine. Our GCRG is designed with two novelties. Firstly, the Residual Neuron Attention (RNA) mechanism is proposed in each block of GCRG to reveal the relevance of neurons for better feature representation. Furthermore, the Global Context (GC) block is embedded into RNAN at the end of each GCRG for effectively modeling the global contextual information. Experiments results demonstrate that our RNAN achieves the comparable results with state-of-the-art methods in terms of both quantitative metrics and visual quality, however, with simplified network architecture.

연구 동기 및 목표

• 초해상도에서 네트워크 깊이를 단순히 증가시키는 데서 비롯하는 한계를 해결하기 위해 특징의 관련성과 맥락 모델링에 초점을 맞춘다.
• 뉴런 간 상호의존성을 명시적으로 모델링하여 초해상도 네트워크의 특징 표현을 향상시킨다.
• 장거리 맥락 정보를 캡처하는 경량 글로벌 맥락(GC) 블록을 통해 성능을 향상시킨다.
• 기존의 깊은 네트워크와 비교해 모델 복잡도를 감소시키면서도 뛰어난 성능을 달성한다.

제안 방법

• 네트워크 아키텍처는 얕은 특징 추출기, 다수의 글로벌 맥락 강화 잔차 그룹(GCRG), 업샘플링 모듈, 재구성 레이어로 구성된다.
• 각 GCRG는 뉴런 수준의 반응을 학습된 상호의존성에 기반해 재조정하는 잔차 뉴런 주의(RNA) 블록을 통합한다.
• 각 GCRG 이후에 글로벌 맥락(GC) 블록을 추가하여 특징 맵 전반의 장거리 의존성을 모델링한다.
• 다양한 GCRG 단계의 출력을 균일 간격으로 연결하여 특징 융합을 수행한 후, 글로벌 잔차 학습을 수행한다.
• 성능 향상을 위해 테스트 중에 자기 앙상블 추론을 적용하여 증강된 입력의 평균을 취한다.
• 데이터 증강(회전 및 반전 포함)과 함께 Adam 옵timizer를 사용하여 L1 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 네트워크 깊이를 증가시키지 않고도 뉴런 수준의 특징 관계를 모델링하면 초해상도 성능 향상에 기여할 수 있는가?
• RQ2 글로벌 맥락 정보를 통합할 경우 재구성된 고해상도 이미지의 품질에 어떤 영향을 미치는가?
• RQ3 경량 주의 메커니즘은 더 깊거나 더 복잡한 아키텍처보다 초해상도 작업에서 뛰어난 성능을 낼 수 있는가?
• RQ4 단일 이미지 초해상도에서 모델 복잡도와 성능 사이의 상충 관계는 어떠한가?

주요 결과

• RNAN은 ×2, ×3, ×4 확대 요인에서 Set5, Set14, B100, Urban100 데이터셋에서 최신 기술 수준의 PSNR 및 SSIM 점수를 달성한다.
• 자기 앙상블을 적용한 결과, ×4에서 Urban100에서 38.31 dB의 PSNR를 기록하여 EDSR(38.27 dB)와 RDN(38.25 dB)를 능가하며, 더 적은 파라미터를 사용한다.
• RNAN는 모델 파라미터를 17.30M으로 줄여 EDSR(43.10M)의 약 2/5와 RDN(22.27M)의 약 4/5로 줄였으며, 경쟁 가능한 성능을 유지한다.
• 시각적 비교 결과, SRCNN, EDSR, FSRCNN과 비교해 RNAN는 더 선명한 윤곽선과 더 많은 고주파 세부 정보를 재구성함을 보여주며, 더 명확한 텍스트와 건물 구조를 재현한다.
• 확대 비율이 높아질수록 RNAN와 EDSR 간 성능 격차는 좁아지지만(예: ×4에서 0.04 dB), RNAN는 훨씬 뛰어난 시각적 품질을 제공한다.
• RNA와 GC 블록의 조합은 다양한 이미지 유형에서 SSIM 향상과 시각적 정확도 향상을 입증하며, 더 효과적인 특징 표현을 가능하게 한다.