[논문 리뷰] AIM 2020 Challenge on Video Temporal Super-Resolution

Sanghyun Son, Jaerin Lee외 3명|arXiv (Cornell University)|2020. 09. 28.

Advanced Image Processing Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 15 fps에서 30 fps 및 60 fps로 프레임 레이트를 증가시키기 위해 중간 프레임을 보간하여 저프레임레트 영상의 시간 해상도를 향상시키는 AIM 2020 비디오 시간 초해상도(VTSR) 챌린지의 결과를 제시한다. 우승한 XPixel 팀은 개선된 이차 운동 모델링을 사용하는 향상된 이차 비디오 보간법(Enhanced Quadratic Video Interpolation)을 도입하여, REDS_VTSR 데이터셋에서 기존 방법보다 0.22 dB의 PSNR 향상을 달성하며 최신 기술 수준의 성능을 확보하였다.

ABSTRACT

Videos in the real-world contain various dynamics and motions that may look unnaturally discontinuous in time when the recordedframe rate is low. This paper reports the second AIM challenge on Video Temporal Super-Resolution (VTSR), a.k.a. frame interpolation, with a focus on the proposed solutions, results, and analysis. From low-frame-rate (15 fps) videos, the challenge participants are required to submit higher-frame-rate (30 and 60 fps) sequences by estimating temporally intermediate frames. To simulate realistic and challenging dynamics in the real-world, we employ the REDS_VTSR dataset derived from diverse videos captured in a hand-held camera for training and evaluation purposes. There have been 68 registered participants in the competition, and 5 teams (one withdrawn) have competed in the final testing phase. The winning team proposes the enhanced quadratic video interpolation method and achieves state-of-the-art on the VTSR task.

연구 동기 및 목표

• 실세계의 저프레임레트 영상에 적합한 강력하고 효율적인 비디오 시간 초해상도(VTSR) 방법 개발.
• 핸드헬드 카메라 녹화 영상에서 발생하는 복잡한 비선형 운동을 다루는 데 도전.
• REDS_VTSR 데이터셋을 활용한 기준화된 경쟁을 통해 프레임 보간 기술을 발전시키기.
• 표준화된 훈련 및 평가 프로토콜 하에서 다양한 딥러닝 기반 VTSR 접근법의 평가 및 비교.

제안 방법

• 우승한 XPixel 팀은 QVI 방법을 확장하여 향상된 운동 모델링을 구현한 Enhanced Quadratic Video Interpolation (EQVI) 프레임워크를 제안하였다.
• 이 방법은 양방향 광학 흐름 맵 $ F_{t\rightarrow t+1} $ 및 $ F_{t+1\rightarrow t} $ 을 사용하며, 이를 $ n $ 및 $ 1-n $ 으로 재스케일링하여 다양한 시간 보간 비율에서 중간 프레임을 생성한다.
• 복잡한 물체 운동을 더 잘 처리하기 위해 STARnet 기반 아키텍처에 가변성 컨볼루션을 추가하였다.
• 광학 흐름 추정에 PWC-Net을 사용하여 기준 모델 대비 정확도를 향상시켰다.
• 저해상도 특징을 원본 해상도로 업샘플링하기 위해 DBPN 및 RBPN 기반의 다중 척도 초해상도 네트워크를 활용하였다.
• 일반화 성능 향상을 위해 훈련 중에 기울임, 뒤집기, 자르기 등의 데이터 증강 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 복잡한 실세계 영상 역학에서의 정확한 프레임 보간을 향상시키기 위해 이차 운동 모델링은 어떻게 개선될 수 있는가?
• RQ2 저프레임레트 입력에서 고프레임레트 영상 복원에 있어 광학 흐름 정확도는 어떤 역할을 하는가?
• RQ3 가변성 컨볼루션과 다중 척도 특징 학습은 도전적인 VTSR 벤치마크에서 성능 향상에 기여하는가?
• RQ4 흐름 기반, 커널 기반, 위상 기반 등의 다양한 운동 표현 전략은 PSNR 및 시각적 품질 측면에서 어떻게 비교되는가?
• RQ5 VTSR에서 최신 기술 수준의 성능을 이끌어내는 데 핵심이 되는 아키텍처 및 훈련 구성 요소는 무엇인가?

주요 결과

• XPixel 팀은 15→60 fps 작업에서 QVI 기준 대비 0.22 dB의 PSNR 향상을 기록하여 최고 성능를 달성하였다.
• 챌린지의 상위 3개 방법 모두 이차 운동 모델링을 활용하여 정확한 시간 보간에 있어 그 효과를 확인하였다.
• 재스케일링된 광학 흐름 맵을 사용함으로써 단일 네트워크가 다양한 시간 보간 비율에서 중간 프레임을 생성할 수 있었다.
• 가변성 컨볼루션과 향상된 흐름 추정(PWC-Net)은 큰 운동이 발생하는 영상에서 성능 향상에 크게 기여하였다.
• 이 챌린지는 빠른 운동과 가림 현상 등의 실세계 역학에 대한 강인성은 고품질 VTSR에 있어 핵심 요소임을 입증하였다.
• 통합 평가 프레임워크 덕분에 공정한 비교가 가능했으며, 시각적 품질과 PSNR가 항상 상관되지 않는다는 점이 드러났다.