[논문 리뷰] Video Super-Resolution Transformer

Jiezhang Cao, Yawei Li외 2명|arXiv (Cornell University)|2021. 06. 12.

Advanced Image Processing Techniques참고 문헌 4인용 수 132

한 줄 요약

이 논문은 프레임 간 국소성 포착과 특징 전파/정합을 가능하게 하는 STCSA와 BOFF를 사용하는 영상 초해상도용 Transformer 변형인 VSR-Transformer를 제안한다.

ABSTRACT

Video super-resolution (VSR), with the aim to restore a high-resolution video from its corresponding low-resolution version, is a spatial-temporal sequence prediction problem. Recently, Transformer has been gaining popularity due to its parallel computing ability for sequence-to-sequence modeling. Thus, it seems to be straightforward to apply the vision Transformer to solve VSR. However, the typical block design of Transformer with a fully connected self-attention layer and a token-wise feed-forward layer does not fit well for VSR due to the following two reasons. First, the fully connected self-attention layer neglects to exploit the data locality because this layer relies on linear layers to compute attention maps. Second, the token-wise feed-forward layer lacks the feature alignment which is important for VSR since this layer independently processes each of the input token embeddings without any interaction among them. In this paper, we make the first attempt to adapt Transformer for VSR. Specifically, to tackle the first issue, we present a spatial-temporal convolutional self-attention layer with a theoretical understanding to exploit the locality information. For the second issue, we design a bidirectional optical flow-based feed-forward layer to discover the correlations across different video frames and also align features. Extensive experiments on several benchmark datasets demonstrate the effectiveness of our proposed method. The code will be available at https://github.com/caojiezhang/VSR-Transformer.

연구 동기 및 목표

• VSR를 개선하기 위해 Transformer를 활용하되 국소성 및 프레임 간 정합의 한계를 다루는 것을 목표로 한다.
• 비디오 프레임의 공간-시간 국소성을 활용하기 위해 STCSA를 제안한다.
• 광학 흐름을 이용한 특징 전파를 가능하게 하는 양방향 흐름 기반 피드포워드(BOFF)를 도입한다.
• 표준 PSNR/SSIM 지표로 벤치마크 VSR 데이터셋에서 효과를 입증하고 최첨단 방법과 비교한다.

제안 방법

• 입력 프레임을 로컬 3D 패치로 펼친 뒤 패치 간 주의(attention)를 계산하여 국소성을 포착하는 공간-시간 컨볼루셔널 셀프-어텐션(STCSA)을 제안한다.
• STCSA의 k-패턴 국소성 학습 이점에 대한 이론적 분석을 제시한다(정리 2).
• 전방/후방 흐름을 이용해 특징을 워핑하고 프레임 간 양방향 전파 및 융합을 수행하는 양방향 광류 기반 피드포워드 층(BOFF)을 도입한다.
• 순열 불변 아키텍처에서 위치 정보를 보존하기 위해 3D 고정 공간-시간 위치 인코딩을 도입한다.
• 특징 추출기, VSR-Transformer 인코더, 재구성 네트워크로 구성된 인코더-재구성 파이프라인을 구축한다.
• REDs4, Vimeo-90K-T, Vid4에서 표준 PSNR/SSIM 지표로 학습 및 평가한다.

실험 결과

연구 질문

• RQ1 STCSA가 비전 트랜스포머의 전통적인 완전히 연결된 셀프 어텐션에 비해 비디오 데이터의 국소성을 효과적으로 이용할 수 있는가?
• RQ2 양방향 광류 기반 피드포워드 층이 VSR에서 프레임 간 특징 전파 및 정합을 개선하는가?
• RQ3 공간-시간 위치 인코딩의 도입이 VSR 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 VSR-Transformer가 표준 벤치마크에서 최첨단 VSR 방법과 어떻게 비교되는가?
• RQ5 모델 파라미터 측면에서 확장 가능성이 있으면서도 경쟁력 있는 VSR 결과를 제공하는가?

주요 결과

• VSR-Transformer는 4배 VSR에 대해 REDS4에서 가장 높은 PSNR 및 경쟁력 있는 SSIM을 달성했다(여러 벤치마크 대비).
• Vimeo-90K-T에서 이 방법은 강력한 PSNR/SSIM을 보여 7프레임 기반 벤치마크를 능가한다.
• Vid4에서 Y-채널 기준으로 보고된 방법들 간 평균 성능에서 선도적 성능을 달성한다.
• STCSA 층은 FCSA보다 국소성 포착에서 이론적 및 실험적 이점을 보여준다.
• BOFF는 효과적인 특징 전파 및 프레임 간 정합을 가능하게 하여 VSR 성능을 향상시키는 데 기여한다.
• 64 채널 모델은 특히 프레임 수가 제한된 시나리오에서 128 채널의 EDVR-L을 능가할 수 있다.