[論文レビュー] Self-Supervised Deep Blind Video Super-Resolution

Haoran Bai, Jinshan Pan|arXiv (Cornell University)|Jan 19, 2022

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本論文は、教師ありHR動画を必要とせず、低分解能（LR）入力からのブラー核と高分解能（HR）動画フレームを同時に推定する自己教師付き深層学習手法を提案する。画像形成モデルを活用して補助的ペアデータを生成し、光学フロー部を統合することで、エンド・ツー・エンドの学習が可能となり、ベンチマークおよび実世界の動画において最先端の性能を達成する。HRの教師データが存在しない状況でも、教師あり手法と同等の結果を達成する。

ABSTRACT

Existing deep learning-based video super-resolution (SR) methods usually depend on the supervised learning approach, where the training data is usually generated by the blurring operation with known or predefined kernels (e.g., Bicubic kernel) followed by a decimation operation. However, this does not hold for real applications as the degradation process is complex and cannot be approximated by these idea cases well. Moreover, obtaining high-resolution (HR) videos and the corresponding low-resolution (LR) ones in real-world scenarios is difficult. To overcome these problems, we propose a self-supervised learning method to solve the blind video SR problem, which simultaneously estimates blur kernels and HR videos from the LR videos. As directly using LR videos as supervision usually leads to trivial solutions, we develop a simple and effective method to generate auxiliary paired data from original LR videos according to the image formation of video SR, so that the networks can be better constrained by the generated paired data for both blur kernel estimation and latent HR video restoration. In addition, we introduce an optical flow estimation module to exploit the information from adjacent frames for HR video restoration. Experiments show that our method performs favorably against state-of-the-art ones on benchmarks and real-world videos.

研究の動機と目的

• 合成データセットに事前に定義されたブラー核に依存する教師あり動画スーパーレゾリューション手法の限界を是正すること。
• ペアHR-LR動画データを必要としない自己教師付き学習フレームワークを構築し、実際のLR動画のみで学習可能にする。
• LR入力動画のみを監視信号として用いて、ブラー核と潜在的HRフレームを同時に推定することで、HR動画復元の精度を向上させること。
• 時間的モデリングのため、隣接フレーム間の動きの一貫性を活用する光学フロー推定モジュールを統合し、特徴の整合性を向上させること。
• 教師ありHRデータが入手できない実世界の動画において、本手法の有効性を検証すること。

提案手法

• 本手法は、HR-LRペアデータに依存しない自己教師付き学習問題として動画スーパーレゾリューションを定式化し、HRデータを一切使用しない。
• 動画SRの画像形成モデルを用いて、元のLR動画から補助的ペアデータを生成し、ネットワークが現実的HR動画およびブラー核推定を学習するように制約を課す。
• 推定されたブラー核にスパース制約を適用することで、学習中に自明な解が生じるのを防ぐ。
• 隣接フレーム間の動きの一貫性を活用し、HR動画復元の品質を向上させるため、光学フロー推定モジュールを統合する。
• 推定されたHRフレームとブラー核から再生成されたLRフレームと元のLRフレームとの間の再構成損失を用いて、エンド・ツー・エンドでネットワークを学習する。
• 非参照指標（例：NIQE）を用いたオンラインファインチューニングにより、実際の劣化動画に対して一般化性能を向上させ、教師データなしでも適応可能である。

実験結果

リサーチクエスチョン

• RQ1 ペアHR-LR動画データが一切存在しない状況でも、自己教師付き学習フレームワークが盲目的動画スーパーレゾリューションを効果的に解けるか？
• RQ2 LR動画のみから、HR動画とブラー核推定を制約する補助的ペアデータを効果的に生成する方法は何か？
• RQ3 ブラー核とHRフレームを同時に推定することで、既知または事前定義されたブラー核を仮定する手法よりも優れた性能が得られるか？
• RQ4 光学フローの統合により、実世界のシナリオにおける再構成HRフレームの品質が向上するか？
• RQ5 教師あり手法と同等の性能を、HR教師データが存在しない状況でも達成できるか？

主な発見

• 本手法は、SEDS や SPMCS といったベンチマークデータセットにおいて最先端の性能を達成し、HR監視なしで SPMCS においてPSNR 27.77、SSIM 0.8184 を達成した。
• 実世界の動画において、NIQE という非参照指標を用いて評価したところ、EDVR などの教師ありベースラインを上回り、オンラインファインチューニング後には NIQE スコアが 12.483 にまで向上した。
• 本手法は FLOPs 754.01G を達成し、EDVR（1480.57G）と比較して顕著に低い値を示しており、高い効率性を兼ね備えている。
• 実際の劣化動画を用いたオンラインファインチューニングにより、視覚的比較および NIQE スコアの向上が確認され、実世界の条件への適応性が裏付けられた。
• HR監視付きで学習した場合、PSNR 27.99、SSIM 0.8346 を達成しており、教師あり性能に匹敵またはそれに近い結果を示した。
• アブレーションスタディにより、補助データ生成とスパース核正則化の組み合わせが、自明な解を効果的に防止し、再構成精度を向上させることを確認した。