[論文レビュー] Video Super-Resolution with Recurrent Structure-Detail Network

Takashi Isobe, Xu Jia+4 more|arXiv (Cornell University)|Aug 2, 2020

Advanced Image Processing Techniques参考文献 31被引用数 15

ひとこと要約

本稿では、2本のストリームを持つ再帰的ブロックを用いてフレームを構造と詳細に分解し、それぞれを別々に処理する再帰的動画超解像ネットワークRSDNを提案する。隠れ状態適応モジュールを用いることで外見の変化や誤差の蓄積に対して頑健性を確保し、複数のベンチマークで最先端の性能を達成するとともに、著しく高速である。

ABSTRACT

Most video super-resolution methods super-resolve a single reference frame with the help of neighboring frames in a temporal sliding window. They are less efficient compared to the recurrent-based methods. In this work, we propose a novel recurrent video super-resolution method which is both effective and efficient in exploiting previous frames to super-resolve the current frame. It divides the input into structure and detail components which are fed to a recurrent unit composed of several proposed two-stream structure-detail blocks. In addition, a hidden state adaptation module that allows the current frame to selectively use information from hidden state is introduced to enhance its robustness to appearance change and error accumulation. Extensive ablation study validate the effectiveness of the proposed modules. Experiments on several benchmark datasets demonstrate the superior performance of the proposed method compared to state-of-the-art methods on video super-resolution.

研究の動機と目的

• 明示的な動き補正を用いずに長時間の時間的依存関係を活用する、効率的かつ効果的な再帰的動画超解像手法の開発。
• スライディングウィンドウ手法の限界、すなわち冗長な計算と高い遅延を解消すること。
• 隠れ状態情報の選択的利用を可能にすることで、再帰的動画超解像における外見の変化や誤差の蓄積に対する頑健性を向上させること。
• 従来の最先端手法と比較して、再構成品質と推論速度のバランスをより良くすること。

提案手法

• 入力動画フレームは学習可能な分解モジュールを用いて構造成分と詳細成分に分解される。
• 構造成分と詳細成分は、共有重みを持つ2本の並列でインタラーブロックされたストリーム（SDブロック）を通じて処理される。
• 複数のSDブロックからなる再帰的ユニットが、隠れ状態をフレーム間で維持しながら、ストリーミング形式でフレーム列を処理する。
• 隠れ状態適応モジュールは、現在のフレームと隠れ状態の各チャネルとの相関を計算し、関連する歴史的特徴への選択的注目を可能にする。
• 可学習フィルタと時間的な特徴集約を通じて、明示的な動き補正を避けながら、動きを暗黙的にモデル化する。
• 構造的忠実性と視覚的品質を向上させるために、L1損失と知覚的損失を組み合わせた損失関数でネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 スライディングウィンドウ手法よりも優れた性能を発揮しつつ、高い推論効率を維持できる再帰的動画超解像ネットワークは構築可能か？
• RQ2 共有再帰アーキテクチャ内で構造成分と詳細成分を効果的に分離・処理することで、再構成品質を向上させられるか？
• RQ3 隠れ状態適応により、長期的な動画超解像における外見の変化や誤差蓄積に対する頑健性を向上させられるか？
• RQ4 2本のストリーム構造・詳細設計は、超解像動画における高周波成分の回復とエッジのシャープネスをどの程度向上させられるか？

主な発見

• Vid4データセットにおいて、RSDNは5つのSDブロックを用いてYチャンネルで27.61 dBのPSNRを達成し、多数の先行手法を上回った。
• 9つのSDブロックを用いた場合、Vid4におけるYチャンネルのPSNRは27.92 dBに達し、5ブロックバージョンと比較して0.31 dB向上したが、FLOPの増加は最小限に抑えられた。
• UDM10では、RSDN 9-128が最先端の性能を達成し、PFNLを0.61 dB上回ったが、3倍の高速さを実現した。
• Vimeo-90K-Tでは、RSDN 9-128はEDVR-Lの6倍高速であり、PSNRにおいてわずかな差異で僅かに劣るにとどまった。
• 定性的な結果から、RSDNはDUF や RBPN と比較して、よりシャープなエッジと繊細なディテールを生成し、アーティファクトが少ないことが示された。
• 時間的整合性解析により、RSDNは滑らかでシャープな時間的プロファイルを生成しており、動きの整合性が向上していることが確認された。