[論文レビュー] Deep Flow-Guided Video Inpainting

Rui Xu, Xiaoxiao Li+2 more|arXiv (Cornell University)|May 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 4

ひとこと要約

本稿では、完成したオプティカルフロー場によってガイドされる、ピクセルの伝搬問題として動画インpaintingを扱う深層フローファイルド動画インpainting手法を提案する。硬い例のマイニングを組み込んだ新規の粗〜細かい深層フローファイルドネットワークを用いることで、DAVISおよびYouTube-VOSベンチマークにおいて、最良の性能を達成し、最適化ベースおよび直接的なディープラーニング手法を著しく上回る。

ABSTRACT

Video inpainting, which aims at filling in missing regions of a video, remains challenging due to the difficulty of preserving the precise spatial and temporal coherence of video contents. In this work we propose a novel flow-guided video inpainting approach. Rather than filling in the RGB pixels of each frame directly, we consider video inpainting as a pixel propagation problem. We first synthesize a spatially and temporally coherent optical flow field across video frames using a newly designed Deep Flow Completion network. Then the synthesized flow field is used to guide the propagation of pixels to fill up the missing regions in the video. Specifically, the Deep Flow Completion network follows a coarse-to-fine refinement to complete the flow fields, while their quality is further improved by hard flow example mining. Following the guide of the completed flow, the missing video regions can be filled up precisely. Our method is evaluated on DAVIS and YouTube-VOS datasets qualitatively and quantitatively, achieving the state-of-the-art performance in terms of inpainting quality and speed.

研究の動機と目的

• 複雑な動きと任意の欠損領域を伴う動画インpaintingにおいて、空間的・時間的整合性を維持する課題に対処すること。
• 複雑な動きに対応できず、計算コストが高いため、パッチベースの最適化手法の限界を克服すること。
• 直接的なピクセルインpaintingからフローファイルドピクセル伝搬に移行することで、計算負荷と時間的アーチファクトを低減すること。
• 粗〜細かい精錬と硬い例のマイニングを用いて、欠損領域におけるフローファイルド品質を向上させること。
• 動きや欠損領域の形状に関する仮定なしに、リアルタイム性能を達成すること。

提案手法

• 粗〜細かいスタックドアーキテクチャを備えた深層フローファイルドネットワーク（DFC-Net）を設計し、フレーム間で段階的にフローファイルドを精錬する。
• 時間的整合性を高めるために、連続するフレームのバッチを処理し、隣接フレーム間の時間的連続性を活用する。
• 各段階でマルチスケール入力を用いることで、訓練の安定化とフローファイルド精度の向上を図り、特に複雑な領域で有効である。
• 動きの境界や動的領域などの困難な領域に注目するため、硬いフローファイルド例のマイニングを適用し、完成品質を向上させる。
• フローファイルド完成後、推定されたフローファイルドを用いて双方向にピクセル伝搬を実行し、欠損領域を埋める。その後、残差領域に対して画像インpaintingを適用する。
• 問題を分離する：まずフローファイルド完成を最優先とし、その後フローファイルドガイドドピクセル伝搬を実行し、最終的に画像インpaintingによる精錬を実施する。

実験結果

リサーチクエスチョン

• RQ1 直接的なピクセルベースの動画インpaintingに代わって、オプティカルフロー完成をより効率的かつ正確に使用できるか？
• RQ2 任意の形状の欠損領域においても時間的整合性を保ちながら、オプティカルフローを完成させるためのディープネットワークをどのように設計できるか？
• RQ3 粗〜細かい構造、マルチスケール、硬い例のマイニングなどのアーキテクチャ的要素の中で、フローファイルド完成品質を最も効果的に向上させるのはどれか？
• RQ4 フローファイルドガイドドピクセル伝搬は、残差インpaintingの負荷をどの程度軽減し、視覚的品質を向上させるか？
• RQ5 実世界の動画データセットにおいて、最適化ベースおよびエンドツーエンドのディープラーニング手法と比較して、本手法の速度と性能はどの程度か？

主な発見

• 本手法はDAVISデータセットでPSNR 28.26、SSIM 0.48を達成し、FlowNet2を用いたHuangら（PSNR 27.73、SSIM 0.45）を上回る。
• アブレーションスタディでは、フローファイルドガイドドピクセル伝搬により、PSNRが19.43から27.50に、SSIMが0.24から0.41に向上し、性能におけるその重要性が示された。
• マルチスケール入力を用いたスタックドDFC-Netは、エンドポイント誤差（EPE）0.93を達成し、単一段階のDFC-Single（EPE 0.97）およびマルチスケール非対応バージョン（EPE 0.95）を上回った。
• 硬い例のマイニングにより、動的領域や境界領域におけるフローファイルド品質が向上し、全体のインpainting結果の質が向上した。
• 最適化ベースの手法と比較して、本手法は著しく高速であり、90フレームの動画を数分で処理できる。
• 失敗事例は主に物体の端縁における不正確なフローファイルド推定に起因しており、今後の研究ではより頑健なフローファイルド推定の必要性が示された。