[論文レビュー] Towards An End-to-End Framework for Flow-Guided Video Inpainting

Zhen Li, Cheng-Ze Lu+3 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

本稿では、可学習な部品を用いて、流れ補完、特徴伝搬、コンテンツ幻覚化モジュールを統合的に最適化するエンド・ツー・エンドのフレームワークE2FGVIを提案する。手動で設計された逐次処理の代わりに、可学習なモジュール——特に流れ誘導特徴ワープに用いる可変畳み込みと、長距離の文脈モデリングに用いる時系列フォーカルトランスフォーマー——を導入することで、推論効率と時間的整合性が著しく向上し、最先端の性能を達成した。

ABSTRACT

Optical flow, which captures motion information across frames, is exploited in recent video inpainting methods through propagating pixels along its trajectories. However, the hand-crafted flow-based processes in these methods are applied separately to form the whole inpainting pipeline. Thus, these methods are less efficient and rely heavily on the intermediate results from earlier stages. In this paper, we propose an End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) through elaborately designed three trainable modules, namely, flow completion, feature propagation, and content hallucination modules. The three modules correspond with the three stages of previous flow-based methods but can be jointly optimized, leading to a more efficient and effective inpainting process. Experimental results demonstrate that the proposed method outperforms state-of-the-art methods both qualitatively and quantitatively and shows promising efficiency. The code is available at https://github.com/MCG-NKU/E2FGVI.

研究の動機と目的

• 分離された手動設計の段階に依存する従来の流れベースの動画補填手法における非効率性と誤差蓄積を解消すること。
• 逐次処理の制限を克服し、流れ補完、特徴伝搬、コンテンツ幻覚化の統合的最適化を可能にすること。
• コンテンツ幻覚化段階で長距離の空間的・時系列的依存関係をモデル化することで、時間的整合性を向上させ、アーチファクトを低減すること。
• 計算コストの高い非GPUアクセラレート処理を微分可能で可学習なコンponentsに置き換えることで、推論速度を向上させること。
• パイプライン全体での誤差伝搬を最小限に抑えるために、初期段階の途中結果に依存するのを減らすこと。

提案手法

• マスク処理済み動画フレームに対して1ステップのオプティカルフロー補完を実行する可学習な流れ補完モジュールを提案し、複数ステップで非微分可能なプロセスに置き換える。
• 可変畳み込みを用いた流れ誘導特徴伝搬モジュールを導入し、オプティカルフローの軌道に沿った学習可能な空間的適応型特徴サンプリングを実現する。
• コンテンツ幻覚化モジュールに時系列フォーカルトランスフォーマーを採用し、空間的および時系列次元における局所的および非局所的依存関係をモデル化する。
• すべての3つのモジュール（流れ補完、特徴伝搬、コンテンツ幻覚化）がトレーニング中に統合的に最適化されるエンド・ツー・エンドの学習可能なフレームワークを設計する。
• オプティカルフローに基づく微分可能なワーピング関数を用い、可学習なオフセットを有する可変畳み込みによるオフセットを介して、可視領域の特徴をマスク領域に伝搬する。
• 最終段階で事前学習済みの画像補填ネットワークの使用をやめ、時間的整合性を尊重するエンド・ツー・エンドの学習可能なコンテンツ生成プロセスに置き換える。

実験結果

リサーチクエスチョン

• RQ1 完全にエンド・ツー・エンドで学習可能なフレームワークは、精度と効率の両面で、従来の流れベースの動画補填手法を上回ることができるか？
• RQ2 流れ補完、特徴伝搬、コンテンツ幻覚化の統合的最適化は、逐次的で手動設計のパイプラインと比較して、誤差蓄積をどの程度低減できるか？
• RQ3 特徴伝搬における可変畳み込みの統合は、不正確なオプティカルフローに対してどの程度の耐性を向上させるか？
• RQ4 提案された時系列フォーカルトランスフォーマーは、一貫性のある動画生成のための長距離空間的・時系列的依存関係をどの程度効果的にモデル化できるか？
• RQ5 コンテンツ幻覚化モジュールで異なるアテンション機構を使用する際の、性能と計算コストのトレードオフはいかなるものか？

主な発見

• E2FGVIは2つのベンチマークデータセットで最先端の性能を達成し、DAVISデータセットではPSNRが32.35、SSIMが0.9688を記録し、先行手法を上回った。
• 432×240解像度で約70フレームの動画に対して、推論時間を1秒未満に短縮した。これは、DFVIのような先行手法が約4分を要するのと比べて顕著に高速化された。
• アブレーションスタディの結果、特徴ワープに流れ誘導と可変畳み込みを組み合わせたモジュールが、PSNR（32.35）とSSIM（0.9688）で最高の性能を示し、流れのみまたは可変畳み込みのみのバージョンを上回った。
• 時系列フォーカルトランスフォーマーは、性能と計算量のバランスが良く、PSNR（31.73）とSSIM（0.9653）が、ヴァニラなグローバルアテンション（31.74/0.9662）と同等の性能を示したが、FLOPsが25%低減された。
• 定性的な結果では、FGVC や FuseFormer といった最先端手法と比較して、時間的整合性が優れており、複雑な動きや欠損した詳細がある領域でもアーチファクトが著しく減少していた。
• 失敗事例では、大規模な動きや広範囲の欠損オブジェクトの詳細が依然として課題であることが示され、極端な条件下での現在の流れ推定と伝搬の限界が明らかになった。