[논문 리뷰] TDAN: Temporally Deformable Alignment Network for Video Super-Resolution

Yapeng Tian, Yulun Zhang외 2명|arXiv (Cornell University)|2018. 12. 07.

Advanced Image Processing Techniques참고 문헌 26인용 수 72

한 줄 요약

TDAN은 영상 초해상도에서 참조 프레임과 보조 프레임을 정렬하기 위해 가변형 컨볼루션을 사용한 하나의 단계 특징 수준 시간 정합을 도입하여 Vid4 BI 열화에서 최첨단 결과를 달성하고 다른 곳에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

Video super-resolution (VSR) aims to restore a photo-realistic high-resolution (HR) video frame from both its corresponding low-resolution (LR) frame (reference frame) and multiple neighboring frames (supporting frames). Due to varying motion of cameras or objects, the reference frame and each support frame are not aligned. Therefore, temporal alignment is a challenging yet important problem for VSR. Previous VSR methods usually utilize optical flow between the reference frame and each supporting frame to wrap the supporting frame for temporal alignment. Therefore, the performance of these image-level wrapping-based models will highly depend on the prediction accuracy of optical flow, and inaccurate optical flow will lead to artifacts in the wrapped supporting frames, which also will be propagated into the reconstructed HR video frame. To overcome the limitation, in this paper, we propose a temporal deformable alignment network (TDAN) to adaptively align the reference frame and each supporting frame at the feature level without computing optical flow. The TDAN uses features from both the reference frame and each supporting frame to dynamically predict offsets of sampling convolution kernels. By using the corresponding kernels, TDAN transforms supporting frames to align with the reference frame. To predict the HR video frame, a reconstruction network taking aligned frames and the reference frame is utilized. Experimental results demonstrate the effectiveness of the proposed TDAN-based VSR model.

연구 동기 및 목표

• 강력한 비디오 슈퍼 해상도(VSR)를 명시적 광학 흐름 추정 없이 달성하려는 동기 부여.
• 지원 프레임을 특징 수준에서 참조 프레임에 맞추는 경량의 엔드-투-엔드 학습 프레임워크를 개발한다.
• 적응적 시간 정합을 위한 샘플링 오프셋을 예측하는 변형 정합 메커니즘을 제안한다.
• 표준 VSR 벤치마크에서 흐름 기반 방법 대비 재구성 품질을 개선한다.

제안 방법

• TDAN을 제안한다. 이는 참조 프레임과 보조 프레임의 특징을 사용하여 가변형 컨볼루션 커널의 오프셋을 예측하는 시간적 가변 정합 네트워크이다.
• 세 부분으로 구성된 TDAN 설계를 사용한다: 특징 추출, 예측된 샘플링 오프셋으로의 가변 정합, 그리고 정렬된 프레임 재구성으로 I_i^{LR'}를 생성한다.
• 참조 프레임을 포함하여 2N+1 프레임을 융합하는 재구성 네트워크를 통합하여 고해상도 프레임 I_t^{HR}를 예측한다.
• L_align과 L_sr의 이중 손실로 엔드투엔드 학습한다: 정렬된 보조 프레임을 참조 프레임 쪽으로 밀어붙이도록 하는 L_align과 정확한 고해상도 재구성을 강제하는 L_sr.
• 참조 프레임을 정렬 타깃으로 사용하여(Self-supervision) TDAN 학습의 기반을 다진다(정답 정렬 프레임이 필요하지 않다).

실험 결과

연구 질문

• RQ1 가변형 컨볼루션을 이용한 단일 단계의 특징 수준 시간 정합이 전통적인 광학 흐름 기반 정합을 VSR에서 능가할 수 있는가?
• RQ2 TDAN 주도 정합이 표준 벤치마크에서 PSNR/SSIM에 흐름 기반 및 단일 영상 SR 방법과 비교하여 어떤 차이를 보이는가?
• RQ3 가변형 레이어 수를 달리하는 것이 TDAN 성능 및 수렴에 어떤 영향을 미치는가?
• RQ4 TDAN은 다양한 저하 구성 및 실세계 미지의 열화에 대해 얼마나 강건한가?

주요 결과

• TDAN은 흐름 기반 VSR 방법 중 최첨단 성능에 도달하고 BI 저하(Vid4)에서 SISR 기준선에 비해 경쟁력 있는 결과를 보인다.
• TDAN은 Vid4 BI 설정(City, Walk, Calendar, Foliage)에서 PSNR 및 SSIM 면에서 TOFlow 및 기타 흐름 기반 방법을 능가하며 평균 이득을 보여준다.
• BD 저하에서 TDAN은 일반적으로 SPMC 및 FRVSR를 PSNR에서 능가하지만 SSIM 면에서는 DUF에 비해 다소 뒤처질 수 있으며 여전히 경쟁적이다.
• TDAN의 모델 크기는 FRVSR/DUF와 비슷하고 RCAN/RDN/TOFlow와 같은 선도적 SISR 모델보다 현저히 작으면서도 강력한 VSR 성능을 낸다.
• 제한 제거 연구(ablation)에서 더 많은 가변형 레이어가 성능을 향상시키며, D4( FRVSR/DUF와 비슷한 크기)에서 다수의 설정에서 최첨단 결과를 달성한다.
• TDAN은 미지의 열화를 가진 실제 실 sequences에서 강건성을 보여 경쟁 방법 대비 더 뚜렷한 경계와 디테일을 생성한다.