[論文レビュー] Can SAM Boost Video Super-Resolution?

Zhihe Lu, Zeyu Xiao+3 more|arXiv (Cornell University)|May 11, 2023

Advanced Image Processing Techniques被引用数 14

ひとこと要約

この論文は、軽量な SAM-guided refinement モジュール SEEM を導入し、Segment Anything Model からのセマンティック priors を既存の VSR 手法（EDVR と BasicVSR）に注入し、効率的な微調整で整合、融合、再構成を改善します。

ABSTRACT

The primary challenge in video super-resolution (VSR) is to handle large motions in the input frames, which makes it difficult to accurately aggregate information from multiple frames. Existing works either adopt deformable convolutions or estimate optical flow as a prior to establish correspondences between frames for the effective alignment and fusion. However, they fail to take into account the valuable semantic information that can greatly enhance it; and flow-based methods heavily rely on the accuracy of a flow estimate model, which may not provide precise flows given two low-resolution frames. In this paper, we investigate a more robust and semantic-aware prior for enhanced VSR by utilizing the Segment Anything Model (SAM), a powerful foundational model that is less susceptible to image degradation. To use the SAM-based prior, we propose a simple yet effective module -- SAM-guidEd refinEment Module (SEEM), which can enhance both alignment and fusion procedures by the utilization of semantic information. This light-weight plug-in module is specifically designed to not only leverage the attention mechanism for the generation of semantic-aware feature but also be easily and seamlessly integrated into existing methods. Concretely, we apply our SEEM to two representative methods, EDVR and BasicVSR, resulting in consistently improved performance with minimal implementation effort, on three widely used VSR datasets: Vimeo-90K, REDS and Vid4. More importantly, we found that the proposed SEEM can advance the existing methods in an efficient tuning manner, providing increased flexibility in adjusting the balance between performance and the number of training parameters. Code will be open-source soon.

研究の動機と目的

• SAM からのセマンティック priors が大きな動きと劣化下で VSR を改善できるかを調査する。
• SAM 派生のマスクをフレーム特徴と融合させて位置合わせと融合を強化するプラグインモジュール SEEM を提案する。
• SEEM の滑動窓（sliding-window）および双方向再帰 VSR アーキテクチャとの互換性を示す。
• パラメータ効率の高いチューニングで SEEM が性能向上を提供することを示す。
• SEEM の性能と trainable parameters のトレードオフに対する洞察を提供する。

提案手法

• 低解像度フレームに SAM を適用して SAM ベースの表現を取得し、画像中の物体のマスクを生成する。
• 畳み込み写像とチャネルアテンションブロックを介して SAM ベースの表現とフレーム特徴を結合し、残差接続を伴うセマンティック対応特徴を生成する SEEM を設計する。
• EDVR へ SEEM を統合してアラインメント、融合、再構成を refine する（標準の EDVR パイプラインの一部を SEEM 強化演算で置換する）。
• Forward および Backward ブランチへ適用されるように BasicVSR へ SEEM を統合して、ワープ特徴と再構成表現を SEEM によって refined する。
• ベースの VSR モデルを凍結し、SEEM パラメータのみ訓練可能とすることで効率的なチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 SAM 派生のセマンティックマスクは、低解像度化されたフレームの劣化時にVSRの堅牢な priors を提供できるか。
• RQ2 SEEM は滑動窓および双方向再帰 VSR の両方でアラインメント、融合、再構成を改善するか。
• RQ3 SEEM はパラメータ効率の高いチューニングと互換性があり、性能向上と trainable parameters のトレードオフはどうか。
• RQ4 SEEM の改善は複数の VSR データセット（REDS、Vimeo-90K、Vid4）間およびドメイン移動（Vimeo-90K から Vid4 への移行）で一般化されるか。

主な発見

• SEEM は REDS4、Vimeo-90K、および Vid4 データセット全体で EDVR および BasicVSR を一貫して改善する。
• REDS4 では、EDVR+SEEM は PSNR/SSIM が平均で最大 0.0254/0.00094 向上、BasicVSR+SEEM は 最大で 0.0877/0.00131。
• Vimeo-90K では、EDVR+SEEM が PSNR/SSIM を 0.0421/0.00036、BasicVSR+SEEM を 0.1184/0.00102 平均向上。
• SEEM は効率的なチューニングを可能にし、SEEM パラメータのみを更新しても訓練可能パラメータが少ない状態で顕著な gains を達成。
• SEEM は Vimeo-90K での学習から Vid4 評価へ転移する際の一般化を改善（表4の結果は一貫した利得を示す）。
• アブレーションにより、SEEM は BasicVSR の Forward または Backward のいずれかに追加した場合に利益が出ることが示され、両方に追加した場合が最良の結果となる。