[論文レビュー] ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring

Dongxu Li, Chenchen Xu+6 more|arXiv (Cornell University)|Mar 7, 2021

Advanced Image Processing Techniques参考文献 47被引用数 4

ひとこと要約

本論文では、高速な運動に起因する大きな画素移動を扱うために、特徴空間における全範囲のボリューム的対応を相関ボリュームのピラミッドを用いて学習する、ARVoと呼ばれる新しい動画のぼやけ除去手法を提案する。暗黙的な特徴ベースの対応と段階的な生成的敵対的訓練、および新規の高フレームレートデータセット（HFR-DVD）を組み合わせることで、DVDおよびHFR-DVDデータセットの両方で最先端の性能を達成し、定量的指標および視覚的品質の両面で先行手法を上回った。

ABSTRACT

Video deblurring models exploit consecutive frames to remove blurs from camera shakes and object motions. In order to utilize neighboring sharp patches, typical methods rely mainly on homography or optical flows to spatially align neighboring blurry frames. However, such explicit approaches are less effective in the presence of fast motions with large pixel displacements. In this work, we propose a novel implicit method to learn spatial correspondence among blurry frames in the feature space. To construct distant pixel correspondences, our model builds a correlation volume pyramid among all the pixel-pairs between neighboring frames. To enhance the features of the reference frame, we design a correlative aggregation module that maximizes the pixel-pair correlations with its neighbors based on the volume pyramid. Finally, we feed the aggregated features into a reconstruction module to obtain the restored frame. We design a generative adversarial paradigm to optimize the model progressively. Our proposed method is evaluated on the widely-adopted DVD dataset, along with a newly collected High-Frame-Rate (1000 fps) Dataset for Video Deblurring (HFR-DVD). Quantitative and qualitative experiments show that our model performs favorably on both datasets against previous state-of-the-art methods, confirming the benefit of modeling all-range spatial correspondence for video deblurring.

研究の動機と目的

• 高速な運動に起因する大きな画素移動を扱う際、オプティカルフロー やホモロジー などの明示的アライメント手法の限界を解消すること。
• 動き推定に依存せずに、フレーム間における長距離の空間的依存関係を捉える暗黙的な対応学習メカニズムの開発。
• マルチスケールの相関ボリュームピラミッドを用いて、隣接フレームからのコンテキストを集約しつつ、参照フレームの高解像度特徴を維持することで、復元品質の向上。
• 生成的敵対的フレームワークにおける段階的訓練を通じて、時間的整合性と視覚的品質の向上。

提案手法

• 参照フレームと隣接フレームの間の全ピクセルペアを特徴空間で照合することで、相関ボリュームピラミッドを構築し、全範囲の対応学習を可能にする。
• 全空間範囲にわたって隣接特徴との相関を最大化することで、参照フレームの特徴を強化する相関集約モジュールを設計。
• 参照フレームの空間的解像度を維持しながら、隣接フレームの特徴のみをダウンサンプリングすることで、微細なディテールを保持。
• 各段階で直前の段階の復元フレームを入力として使用する段階的訓練スキームを採用し、徐々に復元品質を向上。
• 生成的敵対的訓練の枠組み内で、時間的整合性損失を導入し、ディスクライマーが本物のシャープなフレームシーケンスと生成されたシーケンスを区別できるようにする。
• マルチスケールの相関ボリュームを用いることで、受容 field を拡大しつつ高解像度のディテールを保持し、従来手法の局所的受容 field の制限を回避。

Figure 2 : Overview of the proposed video deblurring pipeline. Our method first warps the neighboring frame to the reference frame for feature extraction. Then it computes all-range volumetric correspondence between the reference and neighboring frames as a correlation volume pyramid. Next, it relie

実験結果

リサーチクエスチョン

• RQ1 大規模な移動が生じる動画のぼやけ除去において、明示的な動きベースのアライメントに比べて、暗黙的な特徴空間対応学習が優れているか。
• RQ2 フレーム間で全範囲のピクセルペア相関をモデル化することで、高速運動シーンのぼやけ除去性能がどのように向上するか。
• RQ3 敵対的監視による段階的訓練が、動画のぼやけ除去における時間的整合性と視覚的品質をどの程度向上させるか。
• RQ4 オプティカルフロー や ホモロジー に基づくアライメントと比較して、提案された相関ボリュームピラミッドのロバストネスと正確性はいかが。
• RQ5 高フレームレートデータセット（1000 fps）を用いることで、動画のぼやけ除去モデルの評価と改善にどのような影響を与えるか。

主な発見

• DVDデータセットにおいて、ARVoはPSNR 32.80、SSIM 0.9352を達成し、先行する最先端手法を上回った。
• 新たに導入されたHFR-DVDデータセットでは、ARVoは特に高速運動によるぼやけを効果的に処理し、視覚的整合性とディテール回復の両面で優れた定性的な結果を示した。
• アブレーションスタディの結果、オプティカルフローに基づくアライメントと相関ボリュームアライメントを組み合わせた場合が最良の性能（PSNR: 32.80、SSIM: 0.9352）を示し、両者の補完的性質を裏付けた。
• 2段階の段階的訓練は、1段階訓練と比較してPSNRを0.52 dB向上させたが、2段階を超えると効果の逓減が見られた。
• 生成的敵対的訓練により、視覚的整合性が向上したことが定性的な比較で示されたが、PSNRはわずかに-0.01の改善にとどまり、これは知覚的利点が顕著であることを示唆している。
• 特徴可視化により、相関集約モジュールが著しくぼやけた領域を効果的に精錬すると同時に、ぼやけにくい領域を保持していることが確認され、特徴の的確な強化が行われていることが示された。

Figure 3 : Illustration of the correlative aggregation module, which aggregates the features for the reference frame based on the normalized correlation volume.