[論文レビュー] Deep Video Super-Resolution using HR Optical Flow Estimation

Longguang Wang, Yulan Guo+4 more|arXiv (Cornell University)|Jan 6, 2020

Advanced Image Processing Techniques参考文献 55被引用数 10

ひとこと要約

本稿では、動画超解像のためのエンドツーエンドのディーブラーニングフレームワークであるSOF-VSRを提案する。本手法は、同時に高分解能（HR）の光-flowと画像を復元することで、粗くから細かくまでネットワークを用いて低分解能（LR）フレームから高分解能の光-flowを推定することで、より正確な動き補償と時間的モデリングを可能にし、Vid4およびDAVIS-10で最先端の性能を達成した。詳細な復元と時間的整合性が向上した。

ABSTRACT

Video super-resolution (SR) aims at generating a sequence of high-resolution (HR) frames with plausible and temporally consistent details from their low-resolution (LR) counterparts. The key challenge for video SR lies in the effective exploitation of temporal dependency between consecutive frames. Existing deep learning based methods commonly estimate optical flows between LR frames to provide temporal dependency. However, the resolution conflict between LR optical flows and HR outputs hinders the recovery of fine details. In this paper, we propose an end-to-end video SR network to super-resolve both optical flows and images. Optical flow SR from LR frames provides accurate temporal dependency and ultimately improves video SR performance. Specifically, we first propose an optical flow reconstruction network (OFRnet) to infer HR optical flows in a coarse-to-fine manner. Then, motion compensation is performed using HR optical flows to encode temporal dependency. Finally, compensated LR inputs are fed to a super-resolution network (SRnet) to generate SR results. Extensive experiments have been conducted to demonstrate the effectiveness of HR optical flows for SR performance improvement. Comparative results on the Vid4 and DAVIS-10 datasets show that our network achieves the state-of-the-art performance.

研究の動機と目的

• 既存の動画超解像手法における低分解能光-flowの制限を解消し、正確な時間的モデリングと微細な詳細回復を促進すること。
• エンドツーエンドのアプローチで光-flowと画像を同時に超解像することで、動画超解像の性能を向上させること。
• 高分解能の動き推定を通じて、超解像動画シーケンスの時間的整合性と空間的詳細品質を向上させること。
• 高分解能光-flow推定が動画超解像における精度と視覚的品質を顕著に向上させることを実証すること。
• パラメータ数を削減しながらも高い性能を維持できる軽量でスケーラブルなアーキテクチャの開発

提案手法

• 低分解能フレームから高分解能光-flowを粗くから細かくまで推定する光-flow再構築ネットワーク（OFRnet）を提案する。
• 時間的補償の際、高分解能光-flowと低分解能入力フレームの間の解像度ギャップを埋めるために、空間から深さへの変換（space-to-depth transformation）を用いる。
• 推定された高分解能光-flowを用いて低分解能フレームの動き補償を行い、超解像の前に時間的特徴を整合化する。
• OFRnetにスケール再帰的アーキテクチャを採用し、複数段階にわたり高分解能光-flow予測を段階的に精緻化する。
• モデルパラメータを削減しながら性能を維持するために、チャネルスプリット、チャネルシャッフル、ディープワイズ畳み込みを統合する。
• 動き補償済みの低分解能特徴と超解像ネットワーク（SRnet）を組み合わせ、最終的な高分解能動画フレームを生成する。

実験結果

リサーチクエスチョン

• RQ1 低分解能入力からの光-flowの超解像は、動画超解像の精度と整合性を向上させることができるか？
• RQ2 高分解能光-flowの推定は、動画SRにおけるより良い動き補償と詳細回復をもたらすか？
• RQ3 ベンチマークデータセット上でのPSNR、SSIM、視覚的品質の観点から、提案されたSOF-VSRフレームワークは最先端手法と比べてどのように差がつくか？
• RQ4 高分解能光-flow推定は、顔認識などの下流の高レベルビジョンタスクにおいて、どの程度性能を向上させるか？
• RQ5 軽量でパラメータ効率の良いアーキテクチャは、動画超解像で最先端の性能を維持できるか？

主な発見

• Vid4データセットでは、SOF-VSRはPSNR 32.15 dB、SSIM 0.912を達成し、以前の最先端手法SPMCをそれぞれ1.26 dBおよび3.15%上回った。
• DAVIS-10データセットでは、より正確な高分解能光-flow推定のおかげで、高速で動く物体や大きな変位に対しても優れた性能を示した。
• 定性的な結果から、SOF-VSRはBicubic、VSRnet、DRCN、LapSRN、SPMCと比較して、衣類の模様やテキストなどの微細なディテールをより少ないアーチファクトで回復していることが示された。
• YouTube Faceデータセットの4×超解像サブセットにおける顔認識タスクでは、SOF-VSRはトップ1精度58.1%、トップ5精度74.1%を達成し、CARNをそれぞれ1.2%および1.7%上回った。
• 軽量版（SOF-VSR-BD）は、モデルパラメータを30%以上削減しながらも、元のSOF-VSRネットワークと同等の性能を維持した。
• アブレーションスタディの結果、高分解能光-flow推定がSRの精度と時間的整合性の両方を顕著に向上させることを確認し、コアな設計選択の有効性が裏付けられた。