[논문 리뷰] Gated Multiple Feedback Network for Image Super-Resolution

Qilei Li, Zhen Li외 4명|arXiv (Cornell University)|2019. 07. 09.

Advanced Image Processing Techniques참고 문헌 32인용 수 29

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 게이트형 다중 피드백 네트워크(GMFN)를 제안하며, 게이트형 피드백 모듈을 통해 다수의 고수준 특징을 반복적으로 이용하여 저수준 특징을 개선한다. 이는 압축된 아키텍처로 최신 기술 수준(SOTA) 성능을 달성하며, RDN과 같은 모델에 비해 훨씬 더 많은 잔차 밀도 블록을 사용하지만도 성능을 뛰어넘는다.

ABSTRACT

The rapid development of deep learning (DL) has driven single image super-resolution (SR) into a new era. However, in most existing DL based image SR networks, the information flows are solely feedforward, and the high-level features cannot be fully explored. In this paper, we propose the gated multiple feedback network (GMFN) for accurate image SR, in which the representation of low-level features are efficiently enriched by rerouting multiple high-level features. We cascade multiple residual dense blocks (RDBs) and recurrently unfolds them across time. The multiple feedback connections between two adjacent time steps in the proposed GMFN exploits multiple high-level features captured under large receptive fields to refine the low-level features lacking enough contextual information. The elaborately designed gated feedback module (GFM) efficiently selects and further enhances useful information from multiple rerouted high-level features, and then refine the low-level features with the enhanced high-level information. Extensive experiments demonstrate the superiority of our proposed GMFN against state-of-the-art SR methods in terms of both quantitative metrics and visual quality. Code is available at https://github.com/liqilei/GMFN.

연구 동기 및 목표

• 딥 초해상도 네트워크에서 피드포워드 전용 특징 흐름의 한계를 해결함으로써 얕은 층에서의 문맥 정보 활용을 제한하는 문제를 해결한다.
• 큰 수신 영역을 가진 고수준 특징을 활용하여 더 풍부한 문맥 정보를 포함하고 있는 바탕으로 저수준 특징 표현을 향상시킨다.
• 다수의 고수준 특징에서 유용한 정보를 선택적으로 강화하는 피드백 메커니즘을 설계하여 잡음과 중복을 방지한다.
• 기존 방법보다 더 깊은 특징 정련과 더 적은 파라미터로 향상된 이미지 재구성 품질을 달성한다.
• 다중 피드백 연결과 적응형 게이팅이 단일 또는 무구속 피드백보다 초해상도 성능을 크게 향상시킨다는 것을 입증한다.

제안 방법

• GMFN은 시간 단계를 거쳐 다수의 잔차 밀도 블록(RDB)을 순차적으로 연결하는 순환 아키텍처를 사용하여 특징의 반복적 정련을 가능하게 한다.
• 연속된 시간 단계 사이에 다수의 피드백 연결을 설정하여 깊은 층의 고수준 특징을 얕은 층으로 되돌려보낸다.
• 게이트형 피드백 모듈(GFM)은 다수의 재방향 고수준 특징에서 선택적으로 유용한 정보를 추출하고 강화한 후 저수준 특징과 융합한다.
• 학습 가능한 게이트를 사용하여 정보 흐름을 제어함으로써 유의미한 문맥 특징만 저수준 표현의 정련에 활용되도록 보장한다.
• 픽셀 수준 정확성과 구조 무결성을 모두 유지하기 위해 L1 손실과 인지적 손실을 조합하여 엔드 투 엔드로 학습한다.
• 아키텍처는 두 개의 시간 단계로 전개되며, 각각 7개의 RDB를 포함하여 컴act하면서도 매우 효과적인 모델을 구성한다.

실험 결과

연구 질문

• RQ1 큰 수신 영역을 가진 다수의 계층적 고수준 특징이 초해상도 네트워크에서 저수준 특징 표현을 향상시킬 수 있는가?
• RQ2 다양한 피드백 경로에서 유용한 정보를 선택적으로 강화하는 게이트형 피드백 메커니즘이 무구속 또는 단일 경로 피드백보다 더 나은 재구성 품질을 제공하는가?
• RQ3 다중 피드백 연결을 가진 순환 피드백 메커니즘이 RDN과 같은 피드포워드 네트워크보다 더 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 기존의 피드백 기반 방법들(예: SRFBN)과 비교했을 때 제안된 피드백 메커니즘은 시각적 품질과 정량적 지표에서 어떻게 다른가?
• RQ5 성능과 모델 복잡도의 균형을 고려할 때 피드백 네트워크의 최적의 시간 단계 수와 RDB 수는 얼마인가?

주요 결과

• Urban100 데이터셋에서 ×4 스케일로 GMFN은 PSNR 32.55 dB, SSIM 0.8991을 기록하며, 16개의 RDB를 사용하는 최신 기술 수준의 RDN 모델을 능가한다.
• Manga109 데이터셋에서 ×4 스케일로 GMFN은 PSNR 31.24 dB, SSIM 0.9174를 기록하며, EDSR, D-DBPN, SRFBN 등 비교된 모든 방법을 능가한다.
• RDN이 16개의 RDB를 사용하는 데 비해 GMFN은 단지 14개의 RDB(각 시간 단계당 7개)로도 성능을 뛰어넘어 파라미터 효율성을 입증한다.
• 정성적 결과에서는 다른 최신 기술 수준의 방법들에 비해 더 선명한 윤곽선과 더 많은 세밀한 디테일(특히 텍스처와 복잡한 구조)을 복원하는 것으로 나타났다.
• 절단 실험 결과 다중 피드백 연결과 게이트형 피드백 모듈이 성능 향상에 필수적임을 확인하였으며, 피드백 메커니즘의 절단으로 인해 PSNR가 크게 감소함을 확인했다.
• Set5, Set14, B100, Urban100, Manga109 등 다양한 데이터셋에서 강력한 일반화 성능을 유지함을 보여주어 모델의 견고성을 입증했다.