[論文レビュー] Hybrid Neural Fusion for Full-frame Video Stabilization

Yu-Lun Liu, Wei‐Sheng Lai+3 more|arXiv (Cornell University)|Feb 11, 2021

Image and Video Stabilization参考文献 68被引用数 4

ひとこと要約

本論文は、複数の隣接フレームからのワープ特徴を統合することで安定化フレームを合成する学習ベースのハイブリッドニューラルフュージョン手法を提案する。特徴レベルと画像レベルの統合を学習されたブレンド重みと残留高周波成分転送で組み合わせることで、オプティカルフローの不正確さに起因するアーティファクトを低減し、過度なクロッピングを回避し、NUS、Selfie、DeepStabデータセットで優れた視覚的品質を達成するフルフレームの動画安定化を実現する。

ABSTRACT

Existing video stabilization methods often generate visible distortion or require aggressive cropping of frame boundaries, resulting in smaller field of views. In this work, we present a frame synthesis algorithm to achieve full-frame video stabilization. We first estimate dense warp fields from neighboring frames and then synthesize the stabilized frame by fusing the warped contents. Our core technical novelty lies in the learning-based hybrid-space fusion that alleviates artifacts caused by optical flow inaccuracy and fast-moving objects. We validate the effectiveness of our method on the NUS, selfie, and DeepStab video datasets. Extensive experiment results demonstrate the merits of our approach over prior video stabilization methods.

研究の動機と目的

• フレーム境界における欠損ピixeルのため、既存の動画安定化手法が過度なクロッピングを必要としているという制限を解消すること。
• 安定化フレームにおけるオプティカルフローの不正確さや高速移動物体に起因するアーティファクトを克服すること。
• 複数の隣接フレームを統合することで、解像度の損失なしにフルフィールドオブビューの安定化を実現すること。
• 学習されたブレンド重みと高周波成分転送により視覚的品質を向上させること。
• 時間的安定性を確保しながら、元の視野角を維持または拡大すること。

提案手法

• オプティカルフローやモーション推定ネットワークを用いて、隣接フレームから密なワープフィールドを推定する。
• 強力な統合に耐えるため、入力フレームを豊富なCNNベースの特徴表現にエンコードする。
• 特徴レベルと画像レベルの統合を組み合わせたハイブリッド統合機構を実装し、フローエラーへの感受性を低減する。
• 空間的に変化するブレンド重みを学習し、ワープされた特徉を動的に統合してアーティファクトを最小限に抑える。
• 残留高周波成分転送を備えたニューラルデコーダーを用いて、よりシャープな出力を再構築する。
• 動きのなめらかさとフレームカバレッジのバランスを取るためにパス調整を適用し、有効な入力がない領域を最小限に抑える。

Figure 2: Limitations of current state-of-the-art video stabilization techniques. (a) Current commercial video stabilization software (Adobe Premiere Pro 2020) fails to generate smooth videos in challenging scenarios of rapid camera shakes. (b) Yu and Ramamoorthi’s method [ 70 ] produces a temporall

実験結果

リサーチクエスチョン

• RQ1 学習ベースの統合戦略は、動画安定化におけるオプティカルフローの不正確さに起因するアーティファクトを効果的に低減できるか？
• RQ2 複数のワープフレームをどのように統合することで、過度なクロッピングなしにフルフレームの安定化を達成できるか？
• RQ3 特徴レベルと画像レベルのハイブリッド統合は、単一レベルの統合と比較して、視覚的品質をどの程度向上させるか？
• RQ4 提案手法は、時間的安定性を確保しながら、元の視野角を維持または拡大できるか？
• RQ5 学習されたブレンド重みと残留高周波成分転送の統合は、安定化フレームのシャープネスと現実性をどの程度向上させるか？

主な発見

• NUSおよびSelfieデータセットにおいて、本手法は100%のクロッピング比を達成しており、フレーム境界のクロッピングがなく、フルフィールドオブビューの安定化が実現していることを示している。
• Selfieデータセットにおいて、本手法はYuとRamamoorthiのフローソーミング手法と組み合わせることで、C（コンテンツ）、D（歪み）、S（安定性）、A（アーティファクト）スコアがそれぞれ1.00、0.87、0.87、0.64に向上した。
• Tanks and TemplesデータセットのTrucksシーケンスにおいて、LPIPS（0.12）、SSIM（0.882）、PSNR（23.25）の最高スコアを達成し、FVSおよび他のSOTAビュー合成手法を上回った。
• 視覚的比較では、特に高運動域およびオクルージョンが生じやすいシーンにおいて、DIFRINTやAdobe Premiere Proと比較して、本手法はアーティファクトが少なく、よりシャープな結果を生成した。
• アブレーションスタディの結果、ハイブリッド統合、学習されたブレンド重み、残留高周波成分転送の各要素が、ぼやけや歪みの低減に顕著な寄与をしていることが確認された。
• 本手法は、NUS（困難なハンドヘルド動画）、Selfie（大規模な動きを伴うセルフィービデオ）、DeepStab（高運動域の安定化タスク）を含む多様なデータセットで、一貫した高い性能を発揮した。

Figure 4: Learning-based fusion. Given the warped features $\{f_{n^{s}}^{k^{t}}\}_{n\in\Omega_{k}}$ (or warped images for image-space fusion), warping masks $\{M_{n^{s}}^{k^{t}}\}_{n\in\Omega_{k}}$ , and the flow error maps $\{e_{n^{s}}^{k^{t}}\}_{n\in\Omega_{k}}$ , we first concatenate feature, war