[논문 리뷰] Hierarchical Residual Attention Network for Single Image Super-Resolution

Parichehr Behjati, Pau Rodríguez외 4명|arXiv (Cornell University)|2020. 12. 08.

Advanced Image Processing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 고주파 수치를 유지하기 위해 계층적 특징 및 주의 풀을 사용하는 병렬 잔차 및 주의 경로를 갖는 경량 단일 이미지 초해상도 모델인 계층적 잔차 주의 네트워크(HRAN)를 제안한다. 잔차 블록에서 주의 계산을 분리하고 모든 잔차 블록의 특징을 집계함으로써 HRAN은 최소한의 계산 비용으로 최신 기술 성능을 달성하며, Urban100에서 ×4 스케일에서 ResNet보다 최대 0.21 dB, EDSR보다 0.3 dB 향상된 PSNR를 기록한다.

ABSTRACT

Convolutional neural networks are the most successful models in single image super-resolution. Deeper networks, residual connections, and attention mechanisms have further improved their performance. However, these strategies often improve the reconstruction performance at the expense of considerably increasing the computational cost. This paper introduces a new lightweight super-resolution model based on an efficient method for residual feature and attention aggregation. In order to make an efficient use of the residual features, these are hierarchically aggregated into feature banks for posterior usage at the network output. In parallel, a lightweight hierarchical attention mechanism extracts the most relevant features from the network into attention banks for improving the final output and preventing the information loss through the successive operations inside the network. Therefore, the processing is split into two independent paths of computation that can be simultaneously carried out, resulting in a highly efficient and effective model for reconstructing fine details on high-resolution images from their low-resolution counterparts. Our proposed architecture surpasses state-of-the-art performance in several datasets, while maintaining relatively low computation and memory footprint.

연구 동기 및 목표

• 단일 이미지 초해상도(SISR)에 사용되는 깊은 잔차 네트워크에서 고주파 특징의 열화 문제를 해결하기 위해.
• 재구성 품질을 희생시키지 않고 SISR 모델의 계산 및 메모리 비용을 줄이기 위해.
• 잔차 집계 과정에서 관련 특징을 기각하는 인-플레이스 주의 기반 메커니즘으로 인한 정보 손실을 방지하기 위해.
• 전용 특징 및 주의 풀을 도입하여 네트워크 계층 구조 전반에서 특징 활용도를 향상시키기 위해.
• 유사한 파라미터 수를 갖는 최신 기술 모델을 능가하는 경량이고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• 잔차 블록과 경량 채널 주의(LCA) 블록을 병렬 경로로 스택하는 잔차 주의 특징 그룹(RAFG)을 도입한다.
• 모든 잔차 블록의 출력을 집계하기 위해 계층적 특징 풀을 사용하여 다중 수준 표현을 유지한다.
• 독립된 계산 경로를 통해 가장 관련성이 높은 특징을 추출하고 유지하기 위해 별도의 주의 풀을 활용한다.
• 세 개의 잔차 블록마다 1×1 컨볼루션을 적용하여 효율적인 특징 융합과 기울기 흐름을 보장한다.
• 잔차 덧셈 과정에서 고주파 세부 정보 손실을 방지하기 위해 주의 계산을 잔차 블록에서 분리한다.
• 잔차 특징 학습을 위한 경로와 주의 기반 특징 정밀화를 위한 경로를 별도로 설계하여 병렬 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 전용 주의 경로를 갖는 병렬 아키텍처가 깊은 SISR 네트워크에서 특징 유지에 기여하는가?
• RQ2 잔차 블록에서 주의 계산을 분리하면 특징 전파 과정에서 정보 손실가 줄어드는가?
• RQ3 계층적 특징 및 주의 풀이 모델 복잡도를 증가시키지 않고 재구성 품질을 향상시킬 수 있는가?
• RQ4 제안된 RAFG 설계는 표준 잔차 스택 기반 방법에 비해 PSNR 및 계산 비용 측면에서 어떻게 비교되는가?
• RQ5 특징 및 주의 풀이 SISR 모델의 성능 향상에 얼마나 기여하는가?

주요 결과

• HRAN은 ×4 스케일에서 Set14에서 28.76 dB, Urban100에서 26.39 dB의 PSNR를 기록하여 유사한 파라미터 수를 가진 EDSR 및 RCAN를 능가한다.
• 제안된 계층적 특징 풀은 표준 ResNet 기준선(26.03 dB → 26.24 dB)에서 0.21 dB 향상시키며 뿐만 아니라 추가로 65,000개의 파라미터만 소모한다.
• 특징 및 주의 풀을 제거하면 평균적으로 PSNR가 0.06 dB 감소하여 이들의 특징 정련에 긍정적 영향을 미친다는 것을 확인한다.
• 제안된 병렬 주의 메커니즘(LCA)은 Set14에서 28.76 dB, Urban100에서 26.39 dB의 PSNR를 기록하며, 인-플레이스 주의보다 0.07 dB 향상된다.
• LCA 메커니즘은 추가로 66,000개의 파라미터만 추가로 사용하면서도 인-플레이스 주의보다 PSNR를 0.07 dB 향상시키며 효율성과 효과성을 입증한다.
• HRAN은 낮은 계산 및 메모리 피치를 유지하여 자원 제약이 있는 장치에서의 실질적 구현에 적합하다.