[논문 리뷰] Single Image Super-Resolution via Cascaded Multi-Scale Cross Network

Yanting Hu, Xinbo Gao외 3명|arXiv (Cornell University)|2018. 02. 24.

Advanced Image Processing Techniques참고 문헌 37인용 수 42

한 줄 요약

단일 이미지 초해상도(SISR)를 위한 Cascaded Multi-Scale Cross(CMSC) 네트워크를 도입하며, 다중 스케일 크로스 모듈과 잔차 특징 학습을 갖춘 계단식 서브네트워크를 사용하고, 계단식 감독 및 중간 예측으로 재구성 품질과 효율성을 높인다.

ABSTRACT

The deep convolutional neural networks have achieved significant improvements in accuracy and speed for single image super-resolution. However, as the depth of network grows, the information flow is weakened and the training becomes harder and harder. On the other hand, most of the models adopt a single-stream structure with which integrating complementary contextual information under different receptive fields is difficult. To improve information flow and to capture sufficient knowledge for reconstructing the high-frequency details, we propose a cascaded multi-scale cross network (CMSC) in which a sequence of subnetworks is cascaded to infer high resolution features in a coarse-to-fine manner. In each cascaded subnetwork, we stack multiple multi-scale cross (MSC) modules to fuse complementary multi-scale information in an efficient way as well as to improve information flow across the layers. Meanwhile, by introducing residual-features learning in each stage, the relative information between high-resolution and low-resolution features is fully utilized to further boost reconstruction performance. We train the proposed network with cascaded-supervision and then assemble the intermediate predictions of the cascade to achieve high quality image reconstruction. Extensive quantitative and qualitative evaluations on benchmark datasets illustrate the superiority of our proposed method over state-of-the-art super-resolution methods.

연구 동기 및 목표

• SR beyond 단일 스트림 아키텍처를 넘어 정보 흐름과 다중 스케일 특성 융합의 개선을 목표로 한다.
• 거칠고 정교한 방식으로 고해상도 특징을 점진적으로 다듬는 cascaded 네트워크를 제안한다.
• 다양한 수용 영역에서의 맥락 정보를 융합하기 위한 multi-scale cross(MSC) 모듈을 도입한다.
• 재구성 정확도를 높이기 위해 잔차-특징 학습과 cascaded-supervision을 도입한다.
• 중간 예측을 모아 최종 고품질 HR 이미지를 구성하고 학습 안정성을 향상한다.

제안 방법

• 특징 추출 네트워크, cascaded 서브네트워크, 재구성 네트워크를 포함하는 CMSC 아키텍처를 구축한다.
• 각 cascaded 서브네트워크에서 다중 스케일 정보를 융합하고 LR와 HR 특징 사이의 잔차 특징을 학습하기 위해 다중 MSC 모듈을 쌓아 올린다.
• 두 가지 다른 커널 크기의 가지(branch)로 서로 다른 맥락 정보를 포착하는 merge-and-run 형태의 MSC 모듈을 사용한다.
• 각 서브네트워크 내부에 아이덴티티 스킵 연결을 추가하여 잔차 HR 특징을 추정하는 잔차-특징 학습을 적용한다.
• 중간 서브네트워크 출력이 감독되고 최종 예측이 가중 평균으로 구성되도록 cascaded-supervision으로 학습한다.

실험 결과

연구 질문

• RQ1 계 cascaded, 다중 스케일 융합 네트워크가 전통적 단일 스트림 심층 SR 모델보다 SR 성능을 향상시킬 수 있는가?
• RQ2 MSC 모듈이 다중 스케일 정보를 효과적으로 융합하고 심층 SR 네트워크의 정보 흐름을 개선하는가?
• RQ3 각 cascade 단계의 잔차-특징 학습이 수렴과 재구성 품질을 향상시키는가?
• RQ4 cascaded-supervision과 중간 예측 구성은 단일 최종 감독보다 SR 결과를 더 좋게 만드는가?

주요 결과

• CMSC는 비교 방법 대비 실행 시간이 상대적으로 더 짧은 상태에서 우수한 성능을 달성한다(실험적 결과에 의해 입증).
• MSC 모듈은 서로 다른 수용 영역에서 다중 스케일 맥락 정보를 효과적으로 융합하고 정보 흐름을 개선한다.
• 여러 단계의 cascaded 구조와 잔차-특징 학습은 거칠게부터 정교하게 HR 특징을 점진적으로 다듬는다.
• cascaded-supervision과 중간 예측 구성은 SR 정확도를 추가로 높인다.
• 표준 SR 벤치마크에서 방법의 정량적 개선이 경쟁 방법들보다 확인된다.