[論文レビュー] Rethinking Alignment in Video Super-Resolution Transformers

Shuwei Shi, Jinjin Gu+4 more|arXiv (Cornell University)|Jul 18, 2022

Advanced Image Processing Techniques被引用数 35

ひとこと要約

本論文はVSR Transformerが非整列の動画から複数フレーム情報を効果的に利用できることを示し、アライメントは必ずしも有益であるとは限らないと主張し、効率的な計算で最先端の結果を達成するためにPatch Alignmentを導入する。

ABSTRACT

The alignment of adjacent frames is considered an essential operation in video super-resolution (VSR). Advanced VSR models, including the latest VSR Transformers, are generally equipped with well-designed alignment modules. However, the progress of the self-attention mechanism may violate this common sense. In this paper, we rethink the role of alignment in VSR Transformers and make several counter-intuitive observations. Our experiments show that: (i) VSR Transformers can directly utilize multi-frame information from unaligned videos, and (ii) existing alignment methods are sometimes harmful to VSR Transformers. These observations indicate that we can further improve the performance of VSR Transformers simply by removing the alignment module and adopting a larger attention window. Nevertheless, such designs will dramatically increase the computational burden, and cannot deal with large motions. Therefore, we propose a new and efficient alignment method called patch alignment, which aligns image patches instead of pixels. VSR Transformers equipped with patch alignment could demonstrate state-of-the-art performance on multiple benchmarks. Our work provides valuable insights on how multi-frame information is used in VSR and how to select alignment methods for different networks/datasets. Codes and models will be released at https://github.com/XPixelGroup/RethinkVSRAlignment.

研究の動機と目的

• VSR Transformerにおける明示的なアライメントの必要性を疑問視する。
• Transformerのウィンドウ範囲内のミスアライメントが性能に与える影響を評価する。
• フロー推定の品質とリサンプリングがVSR Transformerにおけるフレーム間情報の利用に与える影響を調査する。
• 大きな動きに対しても重い計算コストをかけずに対処できるPatch Alignmentを提案する。

提案手法

• スライディングウィンドウとマルチフレーム自己注意ブロック(MFSAB)を備えたVSR Transformerを用いて2n+1フレームを処理する。
• 4つのアライメントカテゴリを比較する：画像ベースのフローアラインメント、特徴アラインメント、変形畳み込みベースのアラインメント、そしてアラインメントなし。
• ウィンドウサイズを体系的に変化させ、ミスアライメント耐性を評価する。
• フロー特性とトレーニングダイナミクスを分析し、フロー平滑化の効果を含む。
• Patch Alignmentを導入：画像パッチ上での平均パッチ運動量を用いてcrop-then-moveを行い、パッチ内のサブピクセル情報を保持するために最近傍補間を使用する。
• PSNR/SSIM指標でREDSとVimeo-90Kベンチマークを評価する。

実験結果

リサーチクエスチョン

• RQ1 Can VSR Transformers utilize multi-frame information from unaligned frames without explicit alignment?
• RQ2 When does alignment help or hurt VSR Transformers, and how does window size affect this balance?
• RQ3 How do flow estimation quality and resampling method impact the preservation of sub-pixel information in VSR-based VSR?
• RQ4 Can a patch-based alignment approach provide efficient and effective inter-frame consistency for VSR Transformers?

主な発見

• VSR Transformers can perform well without alignment for small pixel motions within the Transformer window.
• Larger window sizes enable handling of bigger misalignments, reducing the need for alignment but increasing computational cost.
• Flow optimization during training tends to produce smoother, more stable flows that can improve performance; on Vimeo-90K, flow fine-tuning often converges toward zero, diminishing alignment benefits.
• Feature-aligned approaches with nearest-neighbor resampling can match the performance of deformable conv approaches but with fewer parameters.
• Patch Alignment (image or feature space) with NN resampling achieves state-of-the-art results on REDS and Vimeo-90K, with fewer parameters than several competing Transformer-based VSR methods.
• Patch Alignment preserves intra-patch sub-pixel information and mitigates the negative effects of inaccurate flow and bilinear resampling.