[논문 리뷰] Rethinking Alignment in Video Super-Resolution Transformers

Shuwei Shi, Jinjin Gu외 4명|arXiv (Cornell University)|2022. 07. 18.

Advanced Image Processing Techniques인용 수 35

한 줄 요약

이 논문은 VSR Transformer가 정렬되지 않은 비디오의 다중 프레임 정보를 효과적으로 활용할 수 있음을 보여주고, 정렬이 항상 유리한 것은 아니며, Patch Alignment를 도입해 효율적인 계산으로 최첨단 성능을 달성한다.

ABSTRACT

The alignment of adjacent frames is considered an essential operation in video super-resolution (VSR). Advanced VSR models, including the latest VSR Transformers, are generally equipped with well-designed alignment modules. However, the progress of the self-attention mechanism may violate this common sense. In this paper, we rethink the role of alignment in VSR Transformers and make several counter-intuitive observations. Our experiments show that: (i) VSR Transformers can directly utilize multi-frame information from unaligned videos, and (ii) existing alignment methods are sometimes harmful to VSR Transformers. These observations indicate that we can further improve the performance of VSR Transformers simply by removing the alignment module and adopting a larger attention window. Nevertheless, such designs will dramatically increase the computational burden, and cannot deal with large motions. Therefore, we propose a new and efficient alignment method called patch alignment, which aligns image patches instead of pixels. VSR Transformers equipped with patch alignment could demonstrate state-of-the-art performance on multiple benchmarks. Our work provides valuable insights on how multi-frame information is used in VSR and how to select alignment methods for different networks/datasets. Codes and models will be released at https://github.com/XPixelGroup/RethinkVSRAlignment.

연구 동기 및 목표

• VSR Transformer에서 명시적 정렬의 필요성을 의심한다.
• Transformer 윈도우 범위 내의 잘못 정렬이 성능에 어떤 영향을 미치는지 평가한다.
• 흐름(flow) 품질과 리샘플링이 VSR Transformer의 프레임 간 정보 활용에 미치는 영향을 조사한다.
• 무거운 계산 비용 없이 더 큰 모션을 효율적으로 처리하기 위해 Patch Alignment를 제안한다.

제안 방법

• 2n+1 프레임을 처리하기 위해 sliding window와 다중 프레임 자기-주목 블록(MFSAB)이 있는 VSR Transformer를 사용한다.
• 이미지 기반 흐름 정렬, 특징 정렬, 변형 가능한 합성곱 기반 정렬, 그리고 정렬 없음의 네 가지 정렬 범주를 비교한다.
• 정렬 오차 허용 범위를 평가하기 위해 윈도우 크기를 체계적으로 변화시킨다.
• 흐름 특성과 학습 역학을 분석하고 흐름 스무딩 효과를 포함한다.
• Patch Alignment 도입: 평균 패치 모션이 있는 이미지 패치를 자르고 이동시키는 방식으로, 패치 내의 서브 픽셀 정보를 보존하기 위해 최근접 이웃 재샘플링을 사용한다.
• PSNR/SSIM 지표로 REDS 및 Vimeo-90K 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 VSR Transformer가 명시적 정렬 없이도 정렬되지 않은 프레임의 다중 프레임 정보를 활용할 수 있는가?
• RQ2 정렬이 VSR Transformer에 도움이 되거나 해로운 시점은 언제이며, 윈도우 크기가 이 균형에 어떻게 영향을 미치는가?
• RQ3 흐름 추정 품질과 재샘플링 방법이 VSR 기반 VSR에서 서브 픽셀 정보의 보존에 어떤 영향을 미치는가?
• RQ4 패치 기반 정렬 접근법이 VSR Transformer의 프레임 간 일관성을 효율적이고 효과적으로 제공할 수 있는가?

주요 결과

• Transformer 윈도우 내의 작은 픽셀 모션에 대해서는 정렬 없이도 VSR Transformer가 좋은 성능을 낼 수 있다.
• 더 큰 윈도우 크기는 더 큰 잘못 정렬을 처리할 수 있게 해주지만 정렬 필요성을 줄이고 계산 비용을 증가시킨다.
• 학습 중 흐름 최적화는 더 부드럽고 안정적인 흐름을 만들어 성능을 향상시킬 수 있는데, Vimeo-90K에서 흐름 세부 조정은 종종 0으로 수렴하여 정렬의 이점을 약화시킨다.
• 최근접 이웃 재샘플링을 사용하는 특징 정렬 방식은 변형 가능 합성곱 접근법의 성능에 근접하되 매개변수가 더 적다.
• NN 재샘플링을 이용한 이미지 공간 또는 특징 공간의 Patch Alignment는 REDS와 Vimeo-90K에서 최첨단 결과를 달성하며, 여러 경쟁적 Transformer 기반 VSR 방법들보다 매개변수가 적다.
• 패치 내부의 서브 픽셀 정보를 보존하고 부정확한 흐름 및 쌍선 보간(Bilinear) 재샘플링의 부정적 영향을 완화한다.