[論文レビュー] Recurrent Video Restoration Transformer with Guided Deformable Attention

Jingyun Liang, Yuchen Fan+8 more|arXiv (Cornell University)|Jun 5, 2022

Advanced Image Processing Techniques被引用数 81

ひとこと要約

本論文は RVRT を提案します。局所的なフレームクリップをグローバルな再帰フレームワーク内で並列処理し、クリップ間のアライメントには guided deformable attention を用いる、動画 SR、デブラーリング、デノイジングにおいて、モデルサイズと効率のバランスを取りつつ最先端の結果を達成する再帰的な動画復元トランスフォーマーです。

ABSTRACT

Video restoration aims at restoring multiple high-quality frames from multiple low-quality frames. Existing video restoration methods generally fall into two extreme cases, i.e., they either restore all frames in parallel or restore the video frame by frame in a recurrent way, which would result in different merits and drawbacks. Typically, the former has the advantage of temporal information fusion. However, it suffers from large model size and intensive memory consumption; the latter has a relatively small model size as it shares parameters across frames; however, it lacks long-range dependency modeling ability and parallelizability. In this paper, we attempt to integrate the advantages of the two cases by proposing a recurrent video restoration transformer, namely RVRT. RVRT processes local neighboring frames in parallel within a globally recurrent framework which can achieve a good trade-off between model size, effectiveness, and efficiency. Specifically, RVRT divides the video into multiple clips and uses the previously inferred clip feature to estimate the subsequent clip feature. Within each clip, different frame features are jointly updated with implicit feature aggregation. Across different clips, the guided deformable attention is designed for clip-to-clip alignment, which predicts multiple relevant locations from the whole inferred clip and aggregates their features by the attention mechanism. Extensive experiments on video super-resolution, deblurring, and denoising show that the proposed RVRT achieves state-of-the-art performance on benchmark datasets with balanced model size, testing memory and runtime.

研究の動機と目的

• パフォーマンス、モデルサイズ、効率をバランスさせるために、並列と再帰的な動画復元の利点を組み合わせる方法を動機づける。
• グローバルな再帰フレームワーク内で、隣接するフレームを並列に処理するクリップベースの再帰トランスフォーマーを開発する。
• フレームごとまたは後処理の融合アプローチを置換する1段階のクリップ間アライメント機構を設計する。

提案手法

• RVRT を導入し、ビデオを固定長のクリップに分割し、各クリップの特徴を以前に推定されたクリップ特徴で refine する。
• 各クリップ内で、修正済み残差Swin Transformerブロックを用いて特徴を共同更新し、暗黙的な特徴アグリゲーションを実現する。
• クリップ間のアライメントのために guided deformable attention (GDA) を提案し、光流に guided された複数の関連場所を予測し、 dynamic なアテンションウェイトを介してそれらの特徴を集約する。
• 光学フローに基づく前処理とサンプリング位置のオフセットを予測するCNNを用いて、1段階の動画間アライメントを実現する。
• GDA の計算負荷と表現力のバランスをとるためのマルチヘッド/マルチグループ拡張を提供し、MLPを介したチャネル相互作用と残差接続を用いる。
• 学習を安定化させるために Charbonnier 損失で訓練し、SpyNet 初期化の光学フローを活用する。

実験結果

リサーチクエスチョン

• RQ1 並列トランスフォーマーの大きなメモリフットプリントを伴わずに、時間情報をどのように効率的に融合できるか。
• RQ2 再帰フレームワーク内でのクリップレベルの並列処理は、長距離の時間依存性を保持できるか。
• RQ3 guided deformable attention は動画復元タスクにおけるクリップ間アライメントを効果的に実現できるか。

主な発見

• RVRT は、超解像、デブラーリング、デノイジングの8つのベンチマークデータセットで動画復元タスクの最先端の性能を達成。
• 代表的な再帰モデル BasicVSR++ と比較して、RVRT は PSNR を約 0.2–0.5 dB 向上。
• RVRT は REDS4 および Vid4 で transformer ベースの VRT より最大約 0.36 dB（PSNR）上回る。
• RVRT はいくつかの並列手法のパラメータ数とメモリを半分以下に抑え、実行時間を少なくとも約 25% 改善。
• アブレーション研究では、クリップ長さ 2 が最適解の一つであり、光学フローによるガイダンスとMLPによるチャネル相互作用を組み合わせたGDAが性能を大幅に向上させる。