[논문 리뷰] Learning Trajectory-Aware Transformer for Video Super-Resolution

Chengxu Liu, Huan Yang외 2명|arXiv (Cornell University)|2022. 04. 08.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 시각 토큰의 시공간 경로를 학습하여 장거리 시간적 의존성을 모델링함으로써 계산 비용을 줄이고 성능을 햖थ고하는 궤적 인식 트랜스포머인 TTVSR를 제안한다. 이는 도전적인 REDS4 데이터셋에서 BasicVSR과 IconVSR보다 각각 0.70 dB 및 0.45 dB의 PSNR 향상을 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Video super-resolution (VSR) aims to restore a sequence of high-resolution (HR) frames from their low-resolution (LR) counterparts. Although some progress has been made, there are grand challenges to effectively utilize temporal dependency in entire video sequences. Existing approaches usually align and aggregate video frames from limited adjacent frames (e.g., 5 or 7 frames), which prevents these approaches from satisfactory results. In this paper, we take one step further to enable effective spatio-temporal learning in videos. We propose a novel Trajectory-aware Transformer for Video Super-Resolution (TTVSR). In particular, we formulate video frames into several pre-aligned trajectories which consist of continuous visual tokens. For a query token, self-attention is only learned on relevant visual tokens along spatio-temporal trajectories. Compared with vanilla vision Transformers, such a design significantly reduces the computational cost and enables Transformers to model long-range features. We further propose a cross-scale feature tokenization module to overcome scale-changing problems that often occur in long-range videos. Experimental results demonstrate the superiority of the proposed TTVSR over state-of-the-art models, by extensive quantitative and qualitative evaluations in four widely-used video super-resolution benchmarks. Both code and pre-trained models can be downloaded at https://github.com/researchmm/TTVSR.

연구 동기 및 목표

• 기존 비디오 초해상도 방법들이 인접 프레임만 활용하여 장거리 시간적 의존성을 활용하지 못하는 한계를 해결한다.
• 표준 트랜스포머가 비디오 작업에서 높은 계산 비용을 유발하는 문제를 해결하기 위해 자기주의를 관련 시공간 경로로 제한한다.
• 객체의 크기가 여러 프레임에 걸쳐 변하는 경우 발생하는 척도 변화 문제를 완화한다.
• 새로운 궤적 기반 주의 메커니즘을 사용하여 비디오 초해상도에서 효과적인 장거리 특징 학습을 가능하게 한다.
• 궤적 인식 주의와 크로스 스케일 특징 토큰화를 조합하여 표준 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 각 궤적을 시각 요소가 여러 프레임에 걸쳐 이동하는 경로로 간주하여 영상 프레임을 사전에 정렬된 시각 토큰의 궤적 집합으로 표현한다.
• 평균 풀링을 통해 픽셀 운동을 집계하여 궤적을 동적으로 추적하고 업데이트하는 가속 가능한 위치 맵을 도입한다.
• 자기주의 계산을 동일한 궤적에 속한 시각 토큰에만 국한시켜 표준 비디오 트랜스포머에 비해 FLOPs를 크게 감소시킨다.
• 다양한 스케일 수준(예: 4, 6, 8)에서 특징을 추출하여 장거리 시퀀스에서의 척도 변화를 다루는 크로스 스케일 특징 토큰화(CFT) 모듈을 제안한다.
• 궤적 생성과 궤적 인식 주의를 통합된 트랜스포머 아키텍처에 통합하여 효율적이고 효과적인 장거리 모델링을 가능하게 한다.
• CFT에서 다중 스케일 특징 집약 전략을 사용하여 객체의 크기가 변화하는 동안에도 세밀한 무늬를 유지한다.

실험 결과

연구 질문

• RQ1 궤적 인식 주의 메커니즘이 계산 효율성을 유지하면서도 비디오 초해상도에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 자기주의를 시공간 궤적에 국한시키는 것과 전체 비디오 주의를 비교했을 때 성능 및 효율성 측면에서 어떤가?
• RQ3 크로스 스케일 특징 토큰화가 장거리 비디오 시퀀스에서 척도 변화로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 성과 향상의 감소를 초래하지 않는 범위에서 장거리 모델링을 위한 최적의 프레임 샘플링 간격은 얼마인가?
• RQ5 궤적 추정이 실패할 수 있는 복잡한 운동(예: 회전) 상황에서 제안된 방법은 어떻게 대처하는가?

주요 결과

• TTVSR는 REDS4 벤치마크에서 32.12의 PSNR를 기록하여 BasicVSR보다 0.70 dB, IconVSR보다 0.45 dB 높은 성능을 달성한다.
• 절단 분석 결과, 궤적 인식 주의(TA)는 궤적 생성(TG)과 조합되었을 때 기준 모델의 PSNR 31.89에서 31.99로 향상되어 장거리 모델링에서의 효과성을 입증한다.
• 크로스 스케일 특징 토큰화(CFT) 모듈에서 3개의 스케일(4, 6, 8)을 사용할 경우 최고의 성능(32.12 PSNR)을 기록하며, 더 큰 스케일(예: 12)은 무늬 세부 정보 손실로 인해 성능이 저하된다.
• 프레임 샘플링 간격이 45 프레임까지 증가함에 따라 성능이 향상되며(32.01 PSNR), 이후에는 성과 향상이 둔화되어 33 프레임(간격 3)으로도 전체 시퀀스 모델링에 충분함을 시사한다.
• 시각적 비교 결과, TTVSR는 안정적인 궤적을 가진 경우 먼 프레임에서 더 세밀한 무늬를 복원함(예: 그림 1의 노란 박스 영역), 특히 그러한 경우에 뛰어난 성능을 보인다.
• 회전과 같은 상황에서는 궤적 추정이 실패할 수 있으나, TTVSR는 강력한 장거리 모델링 능력 덕분에 다른 최신 기술 수준 방법들보다도 뛰어난 성능을 기록한다.