[논문 리뷰] Deep Video Super-Resolution using HR Optical Flow Estimation

Longguang Wang, Yulan Guo외 4명|arXiv (Cornell University)|2020. 01. 06.

Advanced Image Processing Techniques참고 문헌 55인용 수 10

한 줄 요약

이 논문은 영상 초해상도에서 동시에 고해상도 영상과 광학 흐름을 복원하는 엔드 투 엔드 딥 러닝 프레임워크인 SOF-VSR를 제안한다. 저해상도(LR) 프레임에서 고해상도(HR) 광학 흐름을 계층적 추정 방식의 네트워크(OFRnet)를 사용해 추정함으로써, 더 정확한 운동 보정과 시간적 모델링이 가능해지며, 이는 Vid4와 DAVIS-10에서 최신 기술 수준의 성능을 달성함과 동시에 더 나은 세부 정보 복원과 시간적 일관성을 확보하게 한다.

ABSTRACT

Video super-resolution (SR) aims at generating a sequence of high-resolution (HR) frames with plausible and temporally consistent details from their low-resolution (LR) counterparts. The key challenge for video SR lies in the effective exploitation of temporal dependency between consecutive frames. Existing deep learning based methods commonly estimate optical flows between LR frames to provide temporal dependency. However, the resolution conflict between LR optical flows and HR outputs hinders the recovery of fine details. In this paper, we propose an end-to-end video SR network to super-resolve both optical flows and images. Optical flow SR from LR frames provides accurate temporal dependency and ultimately improves video SR performance. Specifically, we first propose an optical flow reconstruction network (OFRnet) to infer HR optical flows in a coarse-to-fine manner. Then, motion compensation is performed using HR optical flows to encode temporal dependency. Finally, compensated LR inputs are fed to a super-resolution network (SRnet) to generate SR results. Extensive experiments have been conducted to demonstrate the effectiveness of HR optical flows for SR performance improvement. Comparative results on the Vid4 and DAVIS-10 datasets show that our network achieves the state-of-the-art performance.

연구 동기 및 목표

• 기존 영상 초해상도 방법에서 저해상도 광학 흐름의 한계로 인해 정확한 시간적 모델링과 세밀한 세부 정보 복원이 어려운 점을 해결하기 위해.
• 엔드 투 엔드 방식으로 광학 흐름과 영상을 동시에 초해상도로 복원함으로써 영상 초해상도 성능을 향상시키기 위해.
• 고해상도 운동 추정을 통해 초해상도 영상 시퀀스의 시간적 일관성과 공간적 세부 정보 품질을 향상시키기 위해.
• 고해상도 광학 흐름 추정이 영상 초해상도의 정확성과 시각적 품질을 크게 향상시킨다는 것을 입증하기 위해.
• 낮은 파라미터 수를 유지하면서도 높은 성능을 유지하는 경량화되고 확장 가능한 아키텍처를 개발하기 위해.

제안 방법

• 저해상도 입력 프레임에서 고해상도 광학 흐름을 계층적 추정 방식으로 추정하는 광학 흐름 복원 네트워크(OFRnet)를 제안한다.
• 운동 보정 과정에서 고해상도 광학 흐름과 저해상도 입력 프레임 간의 해상도 격차를 메우기 위해 space-to-depth 변환을 사용한다.
• 추정된 고해상도 광학 흐름을 사용해 저해상도 프레임에 운동 보정을 수행함으로써 초해상도 이전에 시간적 특징을 정렬한다.
• OFRnet에서 스케일 반복 아키텍처를 활용해 다단계에 걸쳐 고해상도 광학 흐름 예측을 점진적으로 정밀화한다.
• 모델 파라미터를 줄이면서도 성능을 유지하기 위해 채널 분할, 채널 셔플링, 디프스와이즈 컨볼루션을 통합한다.
• 운동 보정된 저해상도 특징과 초해상도 네트워크(SRnet)를 결합하여 최종 고해상도 영상 프레임을 생성한다.

실험 결과

연구 질문

• RQ1 저해상도 입력에서 광학 흐름을 초해상도로 복원하는 것이 영상 초해상도의 정확성과 일관성 향상에 기여하는가?
• RQ2 고해상도 광학 흐름 추정이 영상 초해상도에서 더 나은 운동 보정과 세부 정보 복원을 가능하게 하는가?
• RQ3 기준 데이터셋에서 PSNR, SSIM 및 시각적 품질 측면에서 제안된 SOF-VSR 프레임워크는 최신 기술 수준의 방법들과 비교해 어떻게 성능를 내는가?
• RQ4 고해상도 광학 흐름 추정이 얼굴 인식과 같은 후행 고수준 비전 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ5 경량화되고 파라미터 효율적인 아키텍처는 영상 초해상도에서 최신 기술 수준의 성능을 유지할 수 있는가?

주요 결과

• Vid4 데이터셋에서 SOF-VSR는 PSNR 32.15 dB, SSIM 0.912를 기록하여 이전 최신 기술 수준의 방법인 SPMC보다 각각 1.26 dB와 3.15% 향상된 성능를 보였다.
• DAVIS-10 데이터셋에서 SOF-VSR는 더 정확한 고해상도 광학 흐름 추정 덕분에 빠르게 움직이는 객체와 큰 이동 거리에 대해 뛰어난 성능를 보였다.
• 시각적 결과 분석에서 SOF-VSR는 Bicubic, VSRnet, DRCN, LapSRN, SPMC와 비교해 옷에 있는 무늬나 텍스트와 같은 더 세밀한 세부 정보를 더 적은 잡음으로 복원하는 것으로 나타났다.
• YouTube Face 데이터셋의 4× 초해상도 서브셋에서 얼굴 인식 작업을 수행한 결과, SOF-VSR는 상위 1위 정확도 58.1%와 상위 5위 정확도 74.1%를 기록하여 CARN보다 각각 1.2%와 1.7% 높은 성능를 보였다.
• 경량 버전(SOF-VSR-BD)은 모델 파라미터를 30% 이상 감소시켰지만 원본 SOF-VSR 네트워크와 비교해 유사한 성능를 유지하였다.
• 제거 실험 결과, 고해상도 광학 흐름 추정이 초해상도 정확도와 시간적 일관성 향상에 뚜렷한 기여를 한다는 것이 확인되었으며, 핵심 설계 선택의 타당성이 입증되었다.