[논문 리뷰] Feedback Network for Image Super-Resolution

Zhen Li, Jinglei Yang외 4명|arXiv (Cornell University)|2019. 03. 23.

Advanced Image Processing Techniques참고 문헌 47인용 수 47

한 줄 요약

논문은 SRFBN을 제시하는데, 이는 초해상도 이미지를 위한 순환 피드백 네트워크로, 전용 피드백 블록을 통해 고수준 정보를 사용하여 저수준 특징을 정제하고, 복잡한 열화를 다루기 위한 커리큘럼 학습을 도입한다.

ABSTRACT

Recent advances in image super-resolution (SR) explored the power of deep learning to achieve a better reconstruction performance. However, the feedback mechanism, which commonly exists in human visual system, has not been fully exploited in existing deep learning based image SR methods. In this paper, we propose an image super-resolution feedback network (SRFBN) to refine low-level representations with high-level information. Specifically, we use hidden states in an RNN with constraints to achieve such feedback manner. A feedback block is designed to handle the feedback connections and to generate powerful high-level representations. The proposed SRFBN comes with a strong early reconstruction ability and can create the final high-resolution image step by step. In addition, we introduce a curriculum learning strategy to make the network well suitable for more complicated tasks, where the low-resolution images are corrupted by multiple types of degradation. Extensive experimental results demonstrate the superiority of the proposed SRFBN in comparison with the state-of-the-art methods. Code is avaliable at https://github.com/Paper99/SRFBN_CVPR19.

연구 동기 및 목표

• SR의 저수준 표현을 고수준 정보로 정제하기 위한 피드백 메커니즘의 활용을 동기화한다.
• 상향-하향 정보 흐름을 효율적으로 처리하고 고수준 표현을 풍부하게 하는 피드백 블록을 설계한다.
• 복잡한 열화에 대한 커리큘럼 학습 전략으로 반복 간 강한 초기 재구성과 점진적 정제를 가능하게 한다.

제안 방법

• SRFBN을 제안하는데, 각 반복마다 LR 특징 블록, 피드백 블록, 재구성 블록이 포함된 T 반복으로 펼쳐진(언롤된) 네트워크를 제시한다.
• 다양한 프로젝션 그룹과 촘촘한 스킵 연결을 갖는 피드백 블록(FB)을 도입하여 고수준 정보를 저수준 특징으로 되돌려보낸다.
• 숨겨진 상태에서 유용한 high-level 정보를 강제하기 위해 모든 반복에 걸쳐 손실을 연결한다.
• 커리큘럼 학습 전략을 사용하여 BD 및 DN 복잡한 열화 모델에 대해 점점 쉬운 목표에서 어려운 목표로 제시한다.

실험 결과

연구 질문

• RQ1 피드백 메커니즘이 SR에서 고수준 정보를 초기 단계로 되돌려 저수준 특징 정제를 향상시킬 수 있는가?
• RQ2 밀집 프로젝션으로 구성된 전용 피드백 블록이 파라미터를 줄이면서 재구성 품질을 향상시키는가?
• RQ3 다양한 열화 모델에 대해 커리큘럼 학습이 표준 학습에 비해 SR 성능을 개선하는가?
• RQ4 초기 반복 출력은 후기 출력에 비해 어떤 차이가 있으며, 다중 반복 감독의 이점은 무엇인가?

주요 결과

• 피드백이 있는 SRFBN은 피드포워드 버전보다 우수하며 반복 수 T가 증가할수록 성능이 개선된다.
• 피드백 블록의 더 큰 프로젝션 그룹 G가 SR 정확도를 높여 더 풍부한 고수준 표현을 보여준다.
• SRFBN-S는 경량 모델(매개변수 1M 미만) 중 강력한 SR 결과를 달성한다.
• 셀프 엔샘블 버전인 SRFBN+은 추가적인 개선을 이끌며 더 큰 모델과의 근접 혹은 상회를 달성하면서도 파라미터 수를 더 적게 유지한다.
• 커리큘럼 학습은 BD 및 DN 열화에서 SR 성능을 향상시키며 BI로의 미세 조정은 결과를 더 강화하는 데 기여한다.