[논문 리뷰] Deep Back-Projection Networks For Super-Resolution

Muhammad Haris, Greg Shakhnarovich외 1명|arXiv (Cornell University)|2018. 03. 07.

Advanced Image Processing Techniques참고 문헌 42인용 수 26

한 줄 요약

이 논문은 단일 이미지 초해상도 복원을 위한 새로운 딥 러닝 아키텍처인 딥 백프로젝션 네트워크(Deep Back-Projection Networks, DBPN)를 제안한다. 이는 오차 피드백을 통한 반복적 업샘플링 및 다운샘플링을 통해 고해상도 이미지 복원 품질을 향상시킨다. 상호 연결된 업샘플링 및 다운샘플링 스테이지와 밀집 특징 연결을 도입함으로써, 특히 8×와 같은 큰 스케일링 인자에서 최신 기술 수준(SOTA)의 성능을 달성한다. Set5 데이터셋에서 PSNR는 27.21 dB를 기록한다.

ABSTRACT

The feed-forward architectures of recently proposed deep super-resolution networks learn representations of low-resolution inputs, and the non-linear mapping from those to high-resolution output. However, this approach does not fully address the mutual dependencies of low- and high-resolution images. We propose Deep Back-Projection Networks (DBPN), that exploit iterative up- and down-sampling layers, providing an error feedback mechanism for projection errors at each stage. We construct mutually-connected up- and down-sampling stages each of which represents different types of image degradation and high-resolution components. We show that extending this idea to allow concatenation of features across up- and down-sampling stages (Dense DBPN) allows us to reconstruct further improve super-resolution, yielding superior results and in particular establishing new state of the art results for large scaling factors such as 8x across multiple data sets.

연구 동기 및 목표

• 큰 스케일링 인자에서 특히 복잡한 저해상도에서 고해상도 간의 종속성을 모델링하지 못하는 순수 피드포워드 딥 초해상도 네트워크의 한계를 해결하기 위해.
• 반복적 백프로젝션에 영감을 받은 오차 피드백 메커니즘을 도입하여 특징을 반복적으로 정련함으로써 이미지 복원 품질을 향상시키기 위해.
• 저해상도 및 고해상도 이미지 표현 간의 상호 관계를 번갈아가며 업샘플링 및 다운샘플링 스테이지로 모델링하기 위해.
• 업샘플링 및 다운샘플링 스테이지 간의 밀집 연결을 통해 특징 재사용과 표현 능력을 향상시키기 위해.
• 특히 8×와 같은 큰 스케일링 인수에서 여러 벤치마크 데이터셋을 통해 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 저해상도 및 고해상도 특징 간의 이원적 관계를 모델링하기 위해 상호 연결된 업샘플링 및 다운샘플링 스테이지가 번갈아가며 작동한다.
• 각 스테이지에서 업프로젝션 및 다운프로젝션 오차를 계산하는 오차 피드백 메커니즘이 도입되어 특징을 반복적으로 정련하고 복원 오차를 수정한다.
• 모든 업샘플링 스테이지에서 유도된 고해상도 특징을 깊이 있는 연결을 통해 통합함으로써, 순차적 전파 없이 다중 척도 표현을 직접 활용할 수 있다.
• 각 업샘플링 및 다운샘플링 스테이지 내부에 밀집 연결을 적용하여 특징 재사용을 장려하고 기울기 흐름을 향상시킨다.
• 예측된 고해상도 이미지와 진짜 고해상도 이미지 간의 픽셀 단위 차이를 최소화하는 손실 함수를 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 전통적인 반복적 백프로젝션 알고리즘에 영감을 받았지만, backpropagation을 통해 학습 가능한 딥 네ural 네트워크 프레임워크로 구현되어 있다.

실험 결과

연구 질문

• RQ1 업샘플링 및 다운샘플링 스테이지 간의 반복적 오차 피드백이 기존의 표준 피드포워드 네트워크보다 초해상도 복원 성능을 향상시키는가?
• RQ2 업샘플링 및 다운샘플링 스테이지 간의 상호 연결성이 저해상도 및 고해상도 이미지 관계 모델링에 어떻게 기여하는가?
• RQ3 여러 업샘플링 스테이지 간의 특징 밀집 연결이 복원 품질 향상과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 제안된 DBPN 아키텍처가 기존 최신 기술 수준의 방법들보다 뛰어나게 성능을 발휘하는가, 특히 8×와 같은 큰 스케일링 인수에서?
• RQ5 EDSR와 같이 장시간 훈련이 필요한 방법들보다 더 적은 파라미터 수나 더 짧은 훈련 시간으로도 더 나은 성능을 달성할 수 있는가?

주요 결과

• DBPN은 8× 초해상도 복원에서 Set5 데이터셋에서 PSNR 27.21 dB를 기록하여 EDSR(26.97 dB) 및 LapSRN(26.14 dB)과 같은 기존 방법들을 뛰어넘었다.
• 밀집 DBPN 버전은 Set5에서 8×에서 PSNR 27.21 dB를 달성하여 큰 스케일링 인수에서 새로운 최신 기술 수준을 수립했다.
• 4× 스케일링에서 DBPN은 Set5에서 PSNR 32.47 dB를 기록하여 EDSR(32.46 dB) 및 LapSRN(31.54 dB)를 초월하며 일관된 우수성을 입증했다.
• 네트워크의 오차 피드백 메커니즘이 재구성 아티팩트를 효과적으로 줄이고, 특히 과도한 확대 조건에서 고주파 성분 복원 능력을 향상시켰다.
• 깊이 있는 연결과 밀집 연결의 사용은 더 나은 특징 재사용과 표현 능력을 가능하게 하여 더 견고하고 정확한 초해상도 출력을 이끌어냈다.
• DBPN은 Set5, Set14, Urban100 등 여러 데이터셋에서 새로운 최신 기술 수준의 결과를 확립하였으며, 특히 8× 스케일링에서 뛰어난 성능을 발휘했다.