[論文レビュー] Detail-revealing Deep Video Super-resolution

Xin Tao, Hongyun Gao+3 more|arXiv (Cornell University)|Apr 10, 2017

Advanced Image Processing Techniques参考文献 24被引用数 35

ひとこと要約

本稿では、動画超解像におけるエンドツーエンドでスケーラブルなCNNフレームワーク内に、サブピクセルモーション補償（SPMC）層を提案する。これにより、複数フレームにわたる正確なモーションアライメントと効果的なディテール統合が可能となり、パrameterチューニングを必要とせず、Set5、Set14、SPMCSを含むベンチマークデータセットにおいて、定量的指標および視覚的品質の両面で最先端の結果を達成する。

ABSTRACT

Previous CNN-based video super-resolution approaches need to align multiple frames to the reference. In this paper, we show that proper frame alignment and motion compensation is crucial for achieving high quality results. We accordingly propose a `sub-pixel motion compensation' (SPMC) layer in a CNN framework. Analysis and experiments show the suitability of this layer in video SR. The final end-to-end, scalable CNN framework effectively incorporates the SPMC layer and fuses multiple frames to reveal image details. Our implementation can generate visually and quantitatively high-quality results, superior to current state-of-the-arts, without the need of parameter tuning.

研究の動機と目的

• 動画超解像における正確なフレーム間モーションアライメントの課題に取り組み、細かい画像ディテールの保持と再構築に不可欠であることを目的とする。
• 再トレーニングを必要とせず、任意のスケーリング係数と可変な入力フレーム数をサポートするスケーラブルなディープラーニングフレームワークの開発を目的とする。
• モーションアライメントされた特徴量が効果的に統合され、真正の高解像度コンテンツ（アーティファクトではない）が回復されるように、ディテール統合の改善を目的とする。
• 従来手法で一般的なケース固有のパrameterチューニングの必要性を排除し、多様な入力に対して一貫したパフォーマンスを達成することを目的とする。
• マルチフレームのアライメントと統合が、特にテクスチャおよび構造的ディテールにおいて、単一画像SRと比較して優れた結果をもたらすことを検証することを目的とする。

提案手法

• サブピクセル精度で後退ワープを実行する微分可能サブピクセルモーション補償（SPMC）層を提案し、低解像度フレームを基準フレームに正確にアライメント可能にする。
• SPMC層をConvLSTMに基づくエンドツーエンドCNNフレームワークに統合し、複数のアライメント済みフレームからの特徴量を統合して高解像度出力を得る。
• 訓練の安定化とフレーム間の特徴伝搬の向上を図るため、スキップ接続を備えた残差学習アーキテクチャを採用する。
• 予測されたフロー場に基づく微分可能なワープ操作を採用し、モーション補償ステップを逆伝播可能にする。
• ネットワークを完全にスケーラブルに設計：SPMC層にはトレーニング可能なパラメータがなく、任意のスケーリング係数をサポートする。また、ConvLSTMにより推論時に可変な入力フレーム数を扱える。
• ネットワークのエンドツーエンド最適化のため、ピxls単位の再構成誤差に基づく光度損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なフレームアライメント手法と比較して、サブピクセルモーション補償が動画超解像性能を顕著に向上させるか？
• RQ2 微分可能なSPMC層を用いたエンドツーエンド学習が、分離されたモーション推定と再構築パイプラインと比較して、より優れたディテール回復を実現するか？
• RQ3 スケーラブルなCNNフレームワークは、再トレーニングなしに変動するスケーリング係数および入力フレーム数に対しても高いパフォーマンスを維持できるか？
• RQ4 マルチフレーム特徴量が、幻視的テクスチャではなく真正の高周波数ディテールをどれほど回復に寄与するか？
• RQ5 PSNR、SSIM、視覚的忠実度の観点から、本手法は最先端の単一画像および動画超解像モデルと比較してどのように差をつけるか？

主な発見

• SPMCSデータセットでは、×4スケールでPSNR 31.92 dB、SSIM 0.90を達成し、すべての先行最先端手法を上回った。
• 3入力フレーム（F3）の場合、SPMCS ×4でPSNR 31.92 dB、SSIM 0.90を達成し、VDSR（28.80 dB PSNR）やSRCNN（28.29 dB PSNR）といった単一画像SR手法を顕著に上回った。
• Vid4ベンチマークでは、×3スケールでPSNR 27.49 dB、SSIM 0.84を達成し、VESPCN（27.25 dB）およびVSRNet（25.31 dB）を上回った。
• F7-×4モデルは、180×120サイズの7フレームを0.26秒で処理でき、Liuら（2時間）やMaら（10分）といった先行手法よりも顕著に高速であった。
• 視覚的結果から、テキストや建物のテクスチャといった微細なディテールが忠実に回復されていることが示され、単一画像SRやバイキュービック補間では失われるディテールが回復されている。
• アブレーションスタディにより、SPMC層およびディテール統合メカニズムが高品質な結果に不可欠であることが確認され、いずれのコンponentが欠落すると性能が著しく低下した。