[論文レビュー] Recurrent Back-Projection Network for Video Super-Resolution

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Image Processing Techniques参考文献 32被引用数 11

ひとこと要約

本稿では、再帰的エンコーダ・デコーダモジュールを用いた反復的バックプロジェクション機構により、単一画像およびマルチフレーム超解像を統合する新しい動画超解像フレームワーク、再帰的バックプロジェクションネットワーク（RBPN）を提案する。各コンテキストフレームを独立して処理し、アップサンプリングおよびダウンサンプリングループを用いて高解像度特徴を段階的に精錬することで、多様な動き状態下で複数のベンチマークで最先端の性能を達成し、PSNRおよびSSIMの両面で先行手法を上回る。

ABSTRACT

We proposed a novel architecture for the problem of video super-resolution. We integrate spatial and temporal contexts from continuous video frames using a recurrent encoder-decoder module, that fuses multi-frame information with the more traditional, single frame super-resolution path for the target frame. In contrast to most prior work where frames are pooled together by stacking or warping, our model, the Recurrent Back-Projection Network (RBPN) treats each context frame as a separate source of information. These sources are combined in an iterative refinement framework inspired by the idea of back-projection in multiple-image super-resolution. This is aided by explicitly representing estimated inter-frame motion with respect to the target, rather than explicitly aligning frames. We propose a new video super-resolution benchmark, allowing evaluation at a larger scale and considering videos in different motion regimes. Experimental results demonstrate that our RBPN is superior to existing methods on several datasets.

研究の動機と目的

• 多様な動き状態をモデル化しにくく、正確な時間的アライメントが困難な既存の動画超解像手法の限界を克服すること。
• 空間的および時間的コンテキストをより効果的に活用できるように、単一画像超解像（SISR）とマルチフレーム超解像（MISR）を1つの再帰的アーキテクチャに統合すること。
• 明示的なフレームアライメントを避けて、残差特徴の精錬を通じて間接的にフレーム間の動きをモデル化することで、再構成品質を向上させること。
• 高速・低速の動きを含む多様な動き条件下での評価を可能にする新規ベンチマーク（Vimeo-90k）を確立すること。

提案手法

• RBPNは、ターゲットフレームとペアのコンテキストフレーム（I_t および I_{t-k}）の残差特徴を、共同で反復的精錬ループに処理する再帰的エンコーダ・デコーダモジュールを採用する。
• 複数画像超解像にインspiredされたバックプロジェクション機構を用い、再構成済みフレームと真値フレームの間の残差誤差を反復的にバックプロジェクションすることで、高解像度特徴を精錬する。
• 単一画像超解像（SISR）パス（ターゲットフレームのみ処理）とマルチフレーム超解像（MISR）パス（コンテキストフレーム処理）を分離し、異なるソースからの特徴を独立してモデル化可能にする。
• コンテキストフレームからの残差特徴は、アップサンプリングおよびダウンサンプリング層を用いて再帰的精錬によりターゲットフレームの特徴と統合され、微細なディテールを保持する。
• 正確な空間的アライメントを必要とせず、ターゲットフレームに対するフレーム間の動きを明示的にモデル化することで、アライメント誤差のリスクを低減する。
• 高速・低速の動きを含む多様な動きタイプをカバーする新しいベンチマーク、Vimeo-90kを導入し、多様な動き条件下での性能評価を可能にする。

Figure 2: Overview of RBPN. The network has two approaches. The horizontal blue line enlarges $I_{t}$ using SISR. The vertical red line is based on MISR to compute the residual features from a pair of $I_{t}$ to neighbor frames ( $I_{t-1},...,I_{t-n}$ ) and the precomputed dense motion flow maps ( $

実験結果

リサーチクエスチョン

• RQ1 複数フレームからの高解像度特徴を反復的に精錬することで、再帰的バックプロジェクション機構が動画超解像性能を向上させ得るか？
• RQ2 複数フレームを同時に処理するのではなく、独立してモデル化することで、複雑な動き状態下での性能が向上するか？
• RQ3 再帰的精錬フレームワークを介してSISRとMISRパスを統合することで、従来のエンドツーエンド動画SRモデルと比較して再構成品質が向上するか？
• RQ4 特に高速または不規則な動きを示す困難なシーケンスにおいて、RBPNは多様な動き状態下で先行手法と比較してどのように性能を発揮するか？

主な発見

• RBPNはVid4およびSPMCSデータセットで最先端の性能を達成し、SPMCS-32ではPSNR 31.64 dB、SSIM 0.883を記録し、先行手法を上回る。
• Vimeo-90kベンチマークでは、RBPN/6-PFが4倍スケーリングでPSNR 30.10 dBを達成し、VSR-DUF（29.42 dB）およびDRDVSR（28.82 dB）を顕著に上回る。
• BicubicおよびDBPNと比較して、定量的評価においても、特に高運動領域でよりシャープで視覚的に魅力的な結果を生成する。
• アブレーションスタディの結果、現在のハイパーパrameter設定下では残差学習がRBPNの性能向上に寄与しないことが確認され、主な信号は主ネットワークパスに捕捉されていると示唆される。
• 4倍超解像においてわずか1270万パラメータ、2.475 GFLOPsで高い精度を維持しており、高精度であるにもかかわらず効率的な推論が可能である。
• Vimeo-90kに含まれる複雑で多様な動きパターンは、従来のベンチマークではカバーされていないが、RBPNはそのような状況下でも優れた性能を示し、頑健性を示す。

Figure 3: The proposed projection module. The target features ( $L_{t-n-1}$ ) is projected to neighbor features ( $M_{t-n}$ ) to construct better HR features ( $H_{t-n}$ ) and produce next LR features ( $L_{t-n}$ ) for the next step.