[논문 리뷰] VESR-Net: The Winning Solution to Youku Video Enhancement and Super-Resolution Challenge

Jiale Chen, Xu Tan외 3명|arXiv (Cornell University)|2020. 03. 04.

Advanced Image Processing Techniques참고 문헌 20인용 수 14

한 줄 요약

VESR-Net는 효율적인 프레임 간 특징 융합을 위한 별도의 비국소 모듈과 향상된 특징 재구성에 기여하는 채널 주의 잔차 블록(CARB)을 도입한 비디오 향상 및 슈퍼해상도 네트워크이다. 이는 최신 기술 수준을 넘어서는 성능을 기록하여 Youku-VESR 챌린지에서 1위를 차지했으며, EDVR 대비 0.41 dB의 PSNR 향상을 기록했고, 뛰어난 효율성도 확보했다.

ABSTRACT

This paper introduces VESR-Net, a method for video enhancement and super-resolution (VESR). We design a separate non-local module to explore the relations among video frames and fuse video frames efficiently, and a channel attention residual block to capture the relations among feature maps for video frame reconstruction in VESR-Net. We conduct experiments to analyze the effectiveness of these designs in VESR-Net, which demonstrates the advantages of VESR-Net over previous state-of-the-art VESR methods. It is worth to mention that among more than thousands of participants for Youku video enhancement and super-resolution (Youku-VESR) challenge, our proposed VESR-Net beat other competitive methods and ranked the first place.

연구 동기 및 목표

• Youku의 온라인 비디오 플랫폼과 같은 산업적 비디오 응용 분야에서 발생하는 실제 비디오 품질 열화 문제를 해결하기 위해.
• 시간적 정보를 효과적으로 융합하면서도 계산 효율성을 유지하는 비디오 슈퍼해상도 모델을 개발하기 위해.
• 프레임 간 장거리 상관관계를 포착하고 각 프레임 내 특징 표현을 향상시켜 재구성 품질을 향상시키기 위해.
• 복잡한 열화를 포함한 현실적이고 다양한 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하기 위해.

제안 방법

• VESR-Net는 장거리 공간-시간적 관계를 명시적으로 모델링하여 특징 융합을 향상시키기 위해 별도의 비국소(Separate NL) 모듈을 활용한다.
• 재구성 경로에서 채널별 특징을 적응적으로 재교정함으로써 특징 표현을 향상시키기 위해 채널 주의 잔차 블록(CARB)을 사용한다.
• 중앙 프레임을 4배 슈퍼해상도로 재구성하기 위해 7개의 연속 프레임을 처리하며, 스킵 연결을 갖춘 특징 인코더와 디코더를 사용한다.
• 모델은 중심 타겟 프레임에 대해 L1 손실을 사용하고, Adam 최적화와 학습률 감소를 적용하여 엔드 투 엔드로 훈련된다.
• 스패티오테임포럴 특징 융합을 향상시키기 위해 PCD(Pyramid Cross-Stage Deformable) 컨볼루션과 별도의 비국소 모듈을 조합한 듀얼 브랜치 설계를 채택한다.
• 두 가지 변형이 평가되었으며, VESR-Net small(20개의 CARB)과 VESR-Net(40개의 CARB)이며, 구성 요소 기여도에 대한 추론 분석도 실시되었다.

실험 결과

연구 질문

• RQ1 계산 비용 증가 없이 별도의 비국소 모듈이 프레임 간 장거리 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 잔차 블록에 채널 주의를 통합하면 슈퍼해상도 작업에서 비디오 프레임 재구성 품질이 향상되는가?
• RQ3 실제 열화된 비디오에서 PSNR, FLOPs, 파rameter 효율성 측면에서 VESR-Net은 EDVR 및 기타 최신 기술 수준의 방법들과 비교해 어떻게 성능을 냈는가?
• RQ4 별도의 비국소 모듈과 CARB 구성 요소가 개별적으로나 함께 작용할 때 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 이sov bicubic 다운샘플링과 같은 합성 열화 외에도 실제 비디오 열화에 잘 일반화되는가?

주요 결과

• VESR-Net는 Youku-VESR 챌린지 랭킹에서 37.851점으로 최고 점수를 기록하여 2위 팀을 0.2점 차이로 앞섰다.
• 두 번째 단계 데이터셋에서 VESR-Net은 PSNR 35.97 dB를 기록했으며, EDVR(35.75 dB)와 EDVR small(35.47 dB)를 모두 앞서며 FLOPs와 파라미터 수가 더 적었다.
• 추론 분석 결과 별도의 비국소 모듈만으로도 EDVR small 대비 PSNR가 0.28 dB 향상되었고, 계산 오버헤드는 최소한이었다.
• 채널 주의 잔차 블록(CARB)은 모델 크기와 FLOPs는 유사하게 유지하면서도 EDVR small 대비 0.23 dB의 PSNR 향상을 기록했다.
• 별도의 비국소 모듈과 CARB 모듈을 함께 사용했을 때 EDVR small 대비 0.41 dB의 PSNR 향상이 이루어져 상호 보완적인 효과를 입증했다.
• 정성적 결과에서는 VESR-Net이 자막과 같은 미세한 디테일을 성공적으로 복원했으며, 비주얼 품질 측면에서 EDVR를 능가했다.