[논문 리뷰] Space-Time-Aware Multi-Resolution Video Enhancement

Muhammad Haris, Greg Shakhnarovich외 1명|arXiv (Cornell University)|2020. 03. 30.

Advanced Image Processing Techniques참고 문헌 57인용 수 4

한 줄 요약

이 논문은 공간-시간 초해상도 복원(ST-SR)을 동시에 향상시키는 딥러닝 프레임워크인 STARnet을 제안한다. 다중 해상도 특징 학습과 저해상도에서 고해상도 특징으로의 직접 스케잎 연결을 통해 공간과 시간 간의 상호의존성을 활용함으로써, 다양한 벤치마크에서 ST-SR, S-SR, T-SR 과제에 대해 최신 기술(SOTA) 수준의 성능을 달성하며, 순차적 또는 독립적인 방법보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

We consider the problem of space-time super-resolution (ST-SR): increasing spatial resolution of video frames and simultaneously interpolating frames to increase the frame rate. Modern approaches handle these axes one at a time. In contrast, our proposed model called STARnet super-resolves jointly in space and time. This allows us to leverage mutually informative relationships between time and space: higher resolution can provide more detailed information about motion, and higher frame-rate can provide better pixel alignment. The components of our model that generate latent low- and high-resolution representations during ST-SR can be used to finetune a specialized mechanism for just spatial or just temporal super-resolution. Experimental results demonstrate that STARnet improves the performances of space-time, spatial, and temporal video super-resolution by substantial margins on publicly available datasets.

연구 동기 및 목표

• 기존 초해상도 방법들이 공간적 및 시간적 업샘플링을 별도로 처리하는 데서 비롯되는 한계를 해결하기 위해.
• 공간적 및 시간적 초해상도 복원을 통합 최적화하는 유일한 딥러닝 프레임워크를 개발하기 위해.
• 고해상도 공간적 세부 정보와 고프레임레이트 운동 정보 간의 상호보완적 관계를 활용해 영상 복원 품질을 향상시키기 위해.
• 동일한 모델을 미세조정하여 독립적인 공간적 또는 시간적 초해상도 과제에 대해 전이 학습을 가능하게 하기 위해.
• 다중 해상도에서의 공동 학습이 큰 움직임과 미세한 움직임 추정 모두에 정확도 향상에 기여하는지 입증하기 위해.

제안 방법

• STARnet는 저해상도 및 고해상도 공간-시간 표현에서 특징을 학습하는 다중 해상도 인코더-디코더 아키텍처를 사용한다.
• 저해상도 입력에서 고해상도 출력으로의 직접 스케잎 연결(purple arrows in Fig. 1)을 사용하여 ST-SR의 엔드 투 엔드 공동 최적화를 가능하게 한다.
• 다양한 해상도 간 횡방향 연결을 통해 공간적 및 시간적 특징을 공동 최적화함으로써 운동 추정 및 복원 정밀도를 향상시킨다.
• 업샘플링 과정에서 특징 정렬 및 정밀화를 향상시키기 위해 광학 흐름과 잔차 학습을 사용한다.
• 공유 백본을 통해 S-SR 또는 T-SR 전용으로 미세조정이 가능하며, 이때 ST-SR 인식 특징을 그대로 상속할 수 있다.
• 프레임워크는 $4\times$ 공간 및 $2\times$ 시간 업샘플링을 지원하며, 다중 해상도 학습의 기여도를 검증하기 위한 분석 연구가 수반되어 있다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 초해상도 복원을 공동으로 학습함으로써 순차적 또는 독립적 처리를 넘어서 영상 복원 성능을 향상시킬 수 있는가?
• RQ2 다중 해상도 특징 학습이 영상에서 큰 움직임과 미세한 움직임을 모델링하는 데 어떻게 기여하는가?
• RQ3 저해상도에서 고해상도 특징으로의 직접 스케잎 연결이 계단식 접근 방식에 비해 ST-SR 성능 향상에 얼마나 기여하는가?
• RQ4 단일 ST-SR 모델이 독립적인 S-SR 또는 T-SR 과제에 대해 효과적으로 미세조정되어 성능 향상이 이루어질 수 있는가?
• RQ5 고해상도 공간적 세부 정보를 활용하면 시간 간격 보간 성능이 향상되고, 반대로 고프레임레이트 운동 정보를 활용하면 공간 복원 품질이 향상되는가?

주요 결과

• STARnet는 Vimeo90K에서 ST-SR 과제에서 PSNR 39.13, SSIM 0.991을 기록하며, RBPN과 DAIN의 최고 조합보다 0.38dB 높은 성능을 달성했다.
• S-SR에 대해 미세조정된 STAR-S는 Vimeo90K에서 DBPN보다 1.19dB, DBPN-MI보다 0.87dB, RBPN보다 0.55dB 높은 PSNR를 기록했다.
• 원본 해상도에서 T-SR 과제에서 최신 기술(SOTA) 성능을 달성한 STAR-T$_{\text{HR}}$는 ToFlow 및 DAIN보다 더 선명한 질감과 운동 영역에서의 블러 감소를 보였다.
• 저해상도 입력에서 미세조정된 STAR-T$_{\text{LR}}$는 미세한 운동 보간 과제에서 STAR-T$_{\text{HR}}$ 및 SOTA 방법을 모두 능가했으며, S-LR에서 PSNR 39.30, SSIM 0.991을 기록했다.
• 시각적 결과는 ToFlow 및 DAIN에 비해 STARnet이 더 적은 잡음과 블러를 생성함을 보여주며, 그 결과는 그림 7의 빨간 화살표로 확인되었다.
• 다중 해상도에서의 공동 학습은 큰 움직임(기준 S-LR)과 미세한 움직임(기준 S-HR) 추정 모두에 더 나은 추정을 가능하게 하여 단일 해상도 접근 방식의 한계를 해결했다.