[논문 리뷰] Deep Back-Projection Networks for Single Image Super-resolution

Muhammad Haris, Greg Shakhnarovich외 1명|arXiv (Cornell University)|2019. 04. 04.

Advanced Image Processing Techniques참고 문헌 13인용 수 35

한 줄 요약

이 논문은 단일 이미지 초해상도에서 오류 피드백이 포함된 반복적 업- 및 다운-샘플링 프로젝션 유닛을 사용하는 Deep Back-Projection Networks (DBPN)을 소개하며, 여러 데이터세트에서 특히 8x와 같은 큰 확대에서 최첨단 결과를 달성한다.

ABSTRACT

Previous feed-forward architectures of recently proposed deep super-resolution networks learn the features of low-resolution inputs and the non-linear mapping from those to a high-resolution output. However, this approach does not fully address the mutual dependencies of low- and high-resolution images. We propose Deep Back-Projection Networks (DBPN), the winner of two image super-resolution challenges (NTIRE2018 and PIRM2018), that exploit iterative up- and down-sampling layers. These layers are formed as a unit providing an error feedback mechanism for projection errors. We construct mutually-connected up- and down-sampling units each of which represents different types of low- and high-resolution components. We also show that extending this idea to demonstrate a new insight towards more efficient network design substantially, such as parameter sharing on the projection module and transition layer on projection step. The experimental results yield superior results and in particular establishing new state-of-the-art results across multiple data sets, especially for large scaling factors such as 8x.

연구 동기 및 목표

• 저해상도(LR)와 고해상도(HR) 표현 간의 상호 의존성을 활용하여 LR→HR 학습을 개선하도록 동기를 부여한다.
• 피드백으로 재프로젝션 단위를 사용한 엔드-투-엔드 학습 가능한 아키텍처를 개발한다.
• 프로젝션 오차를 통해 HR 특징을 정제하기 위한 오류 피드백을 도입한다.
• 효율성을 위해 파라미터 공유 및 프로젝션 스텝 간 전이와 같은 네트워크 설계 개선을 탐구한다.
• 표준 SR 벤치마크에서 대형 스케일링 팩터(예: 8x)에서 경쟁력 있거나 최첨단 성능을 보여준다.

제안 방법

• LR 특징을 HR로, 다시 HR에서 LR로 매핑하여 오류 수정 피드백 루프를 형성하는 반복적 업- 및 다운-프로젝션 유닛을 제안한다.
• 재구성을 위해 모든 업-프로젝션 유닛의 HR 특징 맵을 딥 컨케트네이션으로 융합한다.
• HR/LR 관계를 포착하기 위해 잔차 학습 기법과 큰 수용 영역(8x8, 12x12 커널)을 가진 업- 및 다운-프로젝션 유닛을 정의한다.
• 정규화/배치 정규화 없이 특징 재사용과 학습을 개선하기 위해 Dense DBPN(밀집 프로젝션 유닛)을 도입한다.
• 파라미터를 줄이고 수용 영역을 넓히기 위해 재발형(공유 프로젝션, 전이 층) 변형을 도입한다.
• 보간된 LR 이미지에서 시작하고 마지막에 재구성 잔여를 추가하는 잔차 DBPN을 실험한다.

실험 결과

연구 질문

• RQ1 반복적 상호 LR-HR 프로젝션과 오류 피드백이 SR 품질을 개선할 수 있는가, 특히 큰 스케일 팩터에서 그런가?
• RQ2 아키텍처 변형(Dense 프로젝션, 재발/전이 층, 잔차 학습)이 baseline DBPN에 비해 정확도와 파라미터 효율성을 더 good하게 하는가?
• RQ3 프로젝션 유닛 간 피처 컨캣네이션이 SR 재구성 품질에 미치는 영향은 무엇인가?
• RQ4 오류 피드백(EF)이 표준 SR 벤치마크에서 PSNR 및 시각적 선명도에 어떤 영향을 미치는가?

주요 결과

• DBPN은 NTIRE2018 및 PIRM2018 SR 챌린지에서 최첨단 성능을 달성했다.
• DBPN 변형은 Set5, Set14, BSDS100, Urban100, Manga109에서 4x SR 시에 여러 기초선보다 PSNR/SSIM이 향상되었고 8x에서 뚜렷한 이점을 보인다.
• Dense DBPN(밀집 프로젝션 유닛)은 비밀집 변형보다 성능이 향상되며 특히 도전적인 데이터세트에서 그렇다.
• 재발 및 잔차 설계(DBPN-RES-MR64-3)은 일부 기초선보다 적은 파라미터로도 강력한 결과를 제공하며 4x에서 Set5 32.65 dB, Set14 29.03 dB, Manga109 31.74 dB를 달성한다.
• 오류 피드백(EF)은 SR 품질을 실질적으로 향상시키며 예를 들어 DBPN-S의 EF 도입 시 Set5에서 0.53 dB, Set14에서 0.26 dB의 이득이 있다.
• 최고 성능 구성(DBPN-RES-MR64-3)은 몇몇 기존 방법보다 적은 파라미터로도 경쟁력 있는 결과를 보여주며 제안 설계의 효율성 향상을 강조한다.