[論文レビュー] Revisiting Temporal Modeling for Video Super-resolution

Takashi Isobe, Fang Zhu+2 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Image Processing Techniques参考文献 25被引用数 63

ひとこと要約

この論文は3つの時系列モデリング方式（2D CNNの早期結合、3D CNNのスロー結合、RNN）をビデオ超解像で比較し、再帰的残差ネットワーク（RRN）を提案します。RRNは効率を高めつつ最先端の結果を達成します。

ABSTRACT

Video super-resolution plays an important role in surveillance video analysis and ultra-high-definition video display, which has drawn much attention in both the research and industrial communities. Although many deep learning-based VSR methods have been proposed, it is hard to directly compare these methods since the different loss functions and training datasets have a significant impact on the super-resolution results. In this work, we carefully study and compare three temporal modeling methods (2D CNN with early fusion, 3D CNN with slow fusion and Recurrent Neural Network) for video super-resolution. We also propose a novel Recurrent Residual Network (RRN) for efficient video super-resolution, where residual learning is utilized to stabilize the training of RNN and meanwhile to boost the super-resolution performance. Extensive experiments show that the proposed RRN is highly computational efficiency and produces temporal consistent VSR results with finer details than other temporal modeling methods. Besides, the proposed method achieves state-of-the-art results on several widely used benchmarks.

研究の動機と目的

• VSR性能に対する異なる時系列モデリング手法（2D早期結合、3Dスロー結合、RNN）の影響を評価する。
• 固定損失（L1）と公開トレーニングセット（Vimeo-90k）を用いた公正な比較を確立する。
• トレーニングを安定化させ、テクスチャディテールを保持するための残差接続を備えた効率的な再帰アーキテクチャ（RRN）を提案する。
• RRNが高品質なSRを達成しつつ、速度と効率のトレードオフにおいて優れていることを示す。
• 標準的なVSRベンチマーク（Vid4、SPMCS、UDM10）を横断した実証的証拠を提供する。

提案手法

• 同じ深さと固定L1損失の下で、3つの時系列モデリング手法を評価する：2D CNN（早期結合）、3D CNN（遅結合）、およびRNN。
• 長いシーケンスにわたってトレーニングを安定化させ、テクスチャディテールを保持するため、隠れ状態にidentitySkipを持つResidual Recurrent Network (RRN)を導入する。
• RRNの場合、Eq. 3と同様に、二フレーム入力を結びつけ、Kブロックを通じて残差学習を行う隠れ状態方程式を定義する。
• Vimeo-90kで64ピクセルのLRパッチ（HRからGaussianブラーで4倍ダウンサンプル、sigma=1.6）を用いてすべてのモデルを訓練し、Vid4、SPMCS、UDM10で評価する。
• 輝度チャンネルとカラー チャンネルのPSNR/SSIMを用いて性能を比較し、隠れ状態の残差接続に関するアブレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 固定損失とデータセットの下で、2D早期結合、3Dスロー結合、RNNの時系列モデリング戦略は、ビデオ超解像においてどのように比較されるか？
• RQ2 再帰的残差アーキテクチャはVSRの安定性、テクスチャ保持、時系列の一貫性を改善するか？
• RQ3 これらの時系列モデリング手法間で、計算効率とSR品質のトレードオフはどうなるか？
• RQ4 提案されたRRNは標準的なVSRベンチマークで最先端の結果を、競争力のある実行時間とともに達成できるか？
• RQ5 RRNの隠れ状態にidentityマッピングを含めることは、勾配の安定性と性能にどのような影響を与えるか？

主な発見

• RRNベースの手法は、Vid4、SPMCS、UDM10において優れたPSNR/SSIMを達成しつつ、3D CNNアプローチより計算効率が高い。
• RRN-LはVid4/SPMCS/UDM10それぞれでPSNRが0.44/0.20/0.54 dB上回り、23x超の高速である。
• RRNの隠れ状態における残差学習はトレーニングを安定化させ、より深い隠れ状態を可能にし、VSR性能を向上させる。
• RNNベースの手法は、CNNベースの時系列モデルと比較して、優れた時系列の一貫性とフリッカーレス性を示す。
• RRNは3つの公開ベンチマークで最先端の結果を達成し、実行時間も競争力がある（例：RRN-Sで720p約33fps、RRN-Lで約22fps）。
• 実験では、明示的なモーション補償手法は提案された暗黙の時系列モデリング手法を上回らなかった。