[論文レビュー] Video Super-Resolution Transformer

Jiezhang Cao, Yawei Li+2 more|arXiv (Cornell University)|Jun 12, 2021

Advanced Image Processing Techniques参考文献 4被引用数 132

ひとこと要約

この論文は、動画超解像のためのTransformer変種であるVSR-Transformerを提案します。空間-時間畳み込み自己注意(STCSA)層と双方向の光フローに基づくフィードフォワード(BOFF)層を用い、局所性を捉え、フレーム間で特徴の伝搬とアライメントを可能にします。

ABSTRACT

Video super-resolution (VSR), with the aim to restore a high-resolution video from its corresponding low-resolution version, is a spatial-temporal sequence prediction problem. Recently, Transformer has been gaining popularity due to its parallel computing ability for sequence-to-sequence modeling. Thus, it seems to be straightforward to apply the vision Transformer to solve VSR. However, the typical block design of Transformer with a fully connected self-attention layer and a token-wise feed-forward layer does not fit well for VSR due to the following two reasons. First, the fully connected self-attention layer neglects to exploit the data locality because this layer relies on linear layers to compute attention maps. Second, the token-wise feed-forward layer lacks the feature alignment which is important for VSR since this layer independently processes each of the input token embeddings without any interaction among them. In this paper, we make the first attempt to adapt Transformer for VSR. Specifically, to tackle the first issue, we present a spatial-temporal convolutional self-attention layer with a theoretical understanding to exploit the locality information. For the second issue, we design a bidirectional optical flow-based feed-forward layer to discover the correlations across different video frames and also align features. Extensive experiments on several benchmark datasets demonstrate the effectiveness of our proposed method. The code will be available at https://github.com/caojiezhang/VSR-Transformer.

研究の動機と目的

• 局所性とフレーム間アライメントの限界に対処しつつ、Transformerを活用してVSRを改善する動機づけ。
• 動画フレームにおける空間-時間的局所性を利用するSTCSAを提案。
• 光学フローを介した特徴伝搬とフレーム間のアライメントを可能にするBOFFを導入。
• ベンチマークVSRデータセットでの有効性を示し、最先端手法と比較。

提案手法

• 入力フレームを局所的な3Dパッチに展開し、パッチ間でアテンションを計算して局所性を捕捉する空間-時間的畳み込み自己注意(STCSA)を提案。
• STCSAがkパターン局所性の学習において全結合自己注意より優位であることを示す理論分析を提供（定理2）。
• 前方/後方のフローを用いて特徴をワープさせ、フレーム間の双方向伝搬と統合を行う双方向光学フロー基盤のフィードフォワード層(BOFF)を導入。
• パーミュテーション不変なアーキテクチャで位置情報を保つために、3D固定の空間-時間的位置エンコーディングを組み込む。
• 特徴抽出器、VSR-Transformerエンコーダ、再構成ネットワークを備えたエンコーダ-再構成パイプラインを構築。
• 標準のPSNR/SSIM指標でREDS4、Vimeo-90K-T、Vid4を用いて訓練・評価。

実験結果

リサーチクエスチョン

• RQ1 STCSAは、Vision Transformerの従来の全結合自己注意と比較して、動画データにおける局所性を効果的に活用できるか？
• RQ2 双方向光学フロー基盤のフィードフォワード層は、VSRのフレーム間での特徴伝搬とアライメントを改善するか？
• RQ3 空間-時間的位置エンコーディングの導入がVSR性能に与える影響は？
• RQ4 提案されたVSR-Transformerは、標準ベンチマークにおいて最先端のVSR手法とどのように比較されるか？
• RQ5 競合的なVSR結果を示しつつ、パラメータ数の観点でモデルはスケーラブルか？

主な発見

• VSR-Transformerは、4x VSRにおいてREDS4で最高のPSNRと競合的なSSIMを複数のベースラインと比較して達成。
• Vimeo-90K-Tでは、方法は高いPSNR/SSIMを達成し、いくつかの7フレームベースラインを上回る。
• Vid4（Yチャネル）全体では、報告された手法の中で平均性能が最も高い。
• STCSA層はFCSAに対して局所性の捕捉に理論的・経験的優位性を示す。
• BOFFは効果的な特徴伝搬とフレーム間アラインメントを可能にし、VSR性能の向上に寄与。
• 64チャネルのモデルは、特にフレーム数が限られる状況で、128チャネルのEDVR-Lを上回ることがある。