[論文レビュー] FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution

Jiayi Lin, Yan Huang+1 more|arXiv (Cornell University)|May 12, 2021

Advanced Image Processing Techniques参考文献 28被引用数 33

ひとこと要約

FDANは、マッチングベースのフロー推定モジュールとフロー誘導形変形モジュールを組み合わせた、隣接フレームを堅牢に整列させるためのフロー誘導形変形アライメントのフレームワークを導入します。特に高速な動きの下でのビデオ超解像に有効です。

ABSTRACT

Most Video Super-Resolution (VSR) methods enhance a video reference frame by aligning its neighboring frames and mining information on these frames. Recently, deformable alignment has drawn extensive attention in VSR community for its remarkable performance, which can adaptively align neighboring frames with the reference one. However, we experimentally find that deformable alignment methods still suffer from fast motion due to locally loss-driven offset prediction and lack explicit motion constraints. Hence, we propose a Matching-based Flow Estimation (MFE) module to conduct global semantic feature matching and estimate optical flow as coarse offset for each location. And a Flow-guided Deformable Module (FDM) is proposed to integrate optical flow into deformable convolution. The FDM uses the optical flow to warp the neighboring frames at first. And then, the warped neighboring frames and the reference one are used to predict a set of fine offsets for each coarse offset. In general, we propose an end-to-end deep network called Flow-guided Deformable Alignment Network (FDAN), which reaches the state-of-the-art performance on two benchmark datasets while is still competitive in computation and memory consumption.

研究の動機と目的

• 高速な動作下で時間情報をより有効に活用するため、VSRにおける堅牢な整列の動機付け。
• オプティカルフローと変形畳み込みを統合する Flow-guided Deformable Alignment (FDA) の提案。
• 事前学習なしでグローバルなフロー推定を実現する、軽量な Matching-based Flow Estimation (MFE) モジュールの開発。
• 計算量とメモリ使用量を抑えつつ高性能を発揮する、エンドツーエンドの FDAN アーキテクチャの構築。

提案手法

• 2モジュールの整列: 1/4 解像度で全対のマッチングを用いて粗いグローバルフローを推定する Matching-based Flow Estimation (MFE); フローのアップサンプリングとワーピングにより細かなフローを生成。
• Flow-guided Deformable Module (FDM) は Flow-guided Deformable Convolution (FDC) を用いて、光フローを条件として細かなオフセットとモジュレーションスカラーを生成。
• 高度な統合戦略（flow-informed sampling）で、元の特徴マップ上の参照近傍をワープし、正確なサンプリングを支援。
• ピクセル単位のL1損失を用いたFDANのエンドツーエンド訓練、簡潔なベースラインと再構成のためのアテンションベースの時系列融合を使用。
• FDM内の2つの変形畳み込みのカスケード。最初はフロー誘導型で、2つ目が整列した特徴を refine する。

実験結果

リサーチクエスチョン

• RQ1 オプティカルフローからの明示的な運動制約は、特に高速動作下で、ビデオ超解像のための変形整列を改善するか？
• RQ2 グローバルでフロー情報を取り入れたマッチング手法（MFE）は、純粋に局所的な変形サンプリングよりも良いオフセット予測を提供するか？
• RQ3 フローを変形畳み込みに組み込むことが、整列精度、アーティファクト、全体的なSR品質に与える影響は？
• RQ4 標準的なVSRベンチマークにおける性能と効率の観点で、提案されたFDANは最先端手法とどう比較されるか？

主な発見

• FDANはVimeo90K-TおよびUDM10データセットで最先端の性能を達成します。
• 他の明示的アライメント手法と比較して、計算量とメモリ使用量の点で競争力を維持します。
• MFEは低解像度で全対の意味的マッチングを用いて堅牢な粗いフロー推定を提供します。
• 高度な統合（flow-informed sampling）は、単純なフロー統合と比べてサンプリング局在性を改善し、ノイズを低減します。
• FDANはデータセットをまたいで良好に一般化し、アブレーションでは、純粋な変形やフローベースの手法よりも、フロー誘導形変形アライメントの利点が示されています。