[論文レビュー] Enhanced Quadratic Video Interpolation

Yihao Liu, Liangbin Xie+4 more|arXiv (Cornell University)|Sep 10, 2020

Advanced Image Processing Techniques参考文献 24被引用数 5

ひとこと要約

本論文は、最小二乗法を用いた補正付き2次フローピドクション（RQFP）、高次元特徴融合のための残差的文脈的合成ネットワーク（RCSN）、および学習可能なマルチスケール統合ネットワーク（MS-Fusion）を用いて、元のQVIフレームワークを改善した、強化された2次動画補間（EQVI）を提案する。EQVIは最先端の性能を達成し、AIM2020動画時間的スーパーサンプリングチャレンジで第1位を獲得。QVIより0.38dBのPSNR向上を達成し、REDS_VTSRデータセットでも最近のすべての最先端手法を上回った。

ABSTRACT

With the prosperity of digital video industry, video frame interpolation has arisen continuous attention in computer vision community and become a new upsurge in industry. Many learning-based methods have been proposed and achieved progressive results. Among them, a recent algorithm named quadratic video interpolation (QVI) achieves appealing performance. It exploits higher-order motion information (e.g. acceleration) and successfully models the estimation of interpolated flow. However, its produced intermediate frames still contain some unsatisfactory ghosting, artifacts and inaccurate motion, especially when large and complex motion occurs. In this work, we further improve the performance of QVI from three facets and propose an enhanced quadratic video interpolation (EQVI) model. In particular, we adopt a rectified quadratic flow prediction (RQFP) formulation with least squares method to estimate the motion more accurately. Complementary with image pixel-level blending, we introduce a residual contextual synthesis network (RCSN) to employ contextual information in high-dimensional feature space, which could help the model handle more complicated scenes and motion patterns. Moreover, to further boost the performance, we devise a novel multi-scale fusion network (MS-Fusion) which can be regarded as a learnable augmentation process. The proposed EQVI model won the first place in the AIM2020 Video Temporal Super-Resolution Challenge.

研究の動機と目的

• 大規模または複雑な動きにおける継続的なアーティファクト、ゴースト効果、および運動の不正確さを是正すること。
• 2次動画補間（QVI）手法を改善し、運動推定の精緻化と特徴の有効活用を向上させること。
• 定式化の精緻化、文脈的特徴学習、マルチスケール統合を通じて性能を向上させる補完的でモジュラーなフレームワークを構築すること。
• AIM2020チャレンジを通じて検証された、動画時間的スーパーサンプリングにおける最先端の結果を達成すること。

提案手法

• 不完全なデータサンプルからの補間誤差を是正するため、最小二乗法を用いた補正付き2次フローピドクション（RQFP）定式化を提案。2次運動仮定のもとで、運動フローの正確性を向上させる。
• 事前ワープされた特徴、元の画像、エッジマップを高次元空間に統合する残差的文脈的合成ネットワーク（RCSN）を導入。これにより文脈的理解が向上し、アーティファクトが低減される。
• 異なる解像度レベルからの出力を統合する学習可能なマルチスケール統合ネットワーク（MS-Fusion）を設計。後処理補強として機能し、PSNRを向上させるが、わずかにSSIMが低下する。
• 逐次的訓練戦略を採用：まずQVIベースラインを訓練し、次にRCSNで微調整し、その後RQFPを適用し、最後にMS-Fusionを適用して性能を最大化する。
• PSNRとSSIMのバランスを取るために、L1損失とラプラシアン（L_lap）損失を組み合わせたハイブリッド損失関数を採用。効果性はアブレーションスタディで検証済み。
• 文脈的モデリングのため、事前に抽出されたResNet-18特徴を活用。また、最先端のネットワーク（例：ScopeFlow）からのオプティカルフローを統合し、運動推定の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最小二乗法に基づく2次フローピドクションの補正は、動画補間における運動推定誤差を低減できるか？
• RQ2 高次元文脈的特徴は、複雑な動きの状況下で視覚的品質を向上させ、アーティファクトを低減できる程度はどの程度か？
• RQ3 学習可能なマルチスケール統合戦略は、単一スケール予測を上回るPSNRをさらに向上させられるか？
• RQ4 RQFP、RCSN、MS-Fusionといった個々のモジュールが組み合わされた際、性能向上にどの程度寄与するか？

主な発見

• EQVIはAIM2020動画時間的スーパーサンプリングチャレンジで最高のPSNRを記録し、2位と3位のエントリーをそれぞれ0.08dBと0.5dB上回った。
• 完全なEQVIモデルは、REDS_VTSRデータセットにおいて、元のQVIベースラインからPSNRが0.38dB向上し、顕著な性能向上を示した。
• RQFPモジュール単体でも、RCSNで微調整した後に適用した際、PSNRが0.03dB向上した。運動フロー推定の精緻化が有効であることを裏付けた。
• RCSNにエッジマップと画像特徴を統合することで、PSNRが24.916dBから24.927dBに向上。マルチモーダル入力が文脈的モデリングを強化することを示した。
• MS-FusionモジュールはPSNRを向上させたが、わずかにSSIMを低下させた。これは、指標の正確性と知覚的品質のトレードオフを示している。
• L1損失とラプラシアン損失の組み合わせが最良のバランスを達成し、PSNR 24.775、SSIM 0.717を達成。単一損失ベースラインを上回った。