[論文レビュー] VORNet: Spatio-temporally Consistent Video Inpainting for Object Removal

Ya-Liang Chang, Zhe Yu Liu+1 more|arXiv (Cornell University)|Apr 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 6

ひとこと要約

VORNet は、光学フローのワープと画像ベースの穴埋めモデルを組み合わせることで、空間的・時間的整合性を確保する、動画オブジェクト除去のための新しい深層学習フレームワークである。SVOR データセットにおいて最先端の性能を達成し、従来の手法と比較して時間的安定性と知覚的品質が著しく向上している。

ABSTRACT

Video object removal is a challenging task in video processing that often requires massive human efforts. Given the mask of the foreground object in each frame, the goal is to complete (inpaint) the object region and generate a video without the target object. While recently deep learning based methods have achieved great success on the image inpainting task, they often lead to inconsistent results between frames when applied to videos. In this work, we propose a novel learning-based Video Object Removal Network (VORNet) to solve the video object removal task in a spatio-temporally consistent manner, by combining the optical flow warping and image-based inpainting model. Experiments are done on our Synthesized Video Object Removal (SVOR) dataset based on the YouTube-VOS video segmentation dataset, and both the objective and subjective evaluation demonstrate that our VORNet generates more spatially and temporally consistent videos compared with existing methods.

研究の動機と目的

• 画像ベースの穴埋めモデルをフレーム単位で適用する際の時間的不整合の課題に対処すること。
• 後処理を必要とせず、空間的・時間的整合性を維持する学習ベースの動画オブジェクト除去システムを開発すること。
• 学習および評価のための動画オブジェクト除去モデル用に、大規模かつ多様なデータセット（SVOR）を構築すること。
• 光学フローと GAN 損失を組み合わせた新規なアーキテクチャにより、動画の穴埋めにおける知覚的品質と時間的安定性を向上させること。

提案手法

• VORNet は、オンラインな方法で動画フレームを逐次処理し、時間的整合性を確保するために、過去のフレームからの背景コンテンツを光学フローでワープする。
• 妥当な領域の穴埋めを生成するために、事前学習済みの画像穴埋めモデル（例：Yu et al. [50]）を統合する。
• スキップ接続とアテンション機構を用いて、ワープされた背景特徴と穴埋め済みコンテンツを統合するリファインメントネットワークを構築する。
• 再構成損失、VGG を用いた知覚的損失、および空間的・時間的判別器の2つの GAN 損失を組み合わせてモデルを訓練する。
• 時間的判別器は、連続するフレーム間の整合性を保証するために、本物の vs. 偽の動画シーケンスを区別する。
• 光学フローは FlowNet2 を用いて推定され、パイプライン全体が共同最適化によりエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、フレーム単位の画像穴埋めよりも、動画オブジェクト除去における空間的・時間的整合性を向上させられるか？
• RQ2 光学フローのワープは、背景の動きを保存し、動画穴埋めにおけるフレッケリングを低減するのにどの程度有効か？
• RQ3 空間的および時間的 GAN 損失を併用することで、知覚的品質と時間的安定性はどの程度向上するか？
• RQ4 大規模かつ多様な動画オブジェクト除去データセット（SVOR）は、このようなモデルの学習および評価をより良く可能にするか？
• RQ5 提案された VORNet は、定量的および定性的な指標において、従来のパッチベースおよび画像ベースの動画穴埋め手法を上回るか？

主な発見

• VORNet は、比較対象のすべての手法の中で最小の MSE（0.01560）と LPIPS（0.1889）スコアを達成し、優れた再構成品質と知覚的品質を示している。
• モデルは最高の SSIM（0.7260）を達成しており、フレーム間での構造的一致性が向上していることを示している。
• アブレーションスタディの結果、ワープネットワーク、VGG 損失、空間的および時間的判別器の各要素が性能向上に顕著な寄与をしていることが確認された。
• VORNet は標準的な GPU 環境で 2.5 FPS で動作し、パッチベースの動画穴埋め（0.15 FPS）を上回っており、一部のエンドツーエンド手法よりも高速である。
• 視覚的評価およびユーザースタディの結果、VORNet はフレーム間の安定性が高く、視覚的にも自然な結果を生成しており、フレッケリングや歪みが低減されていることが確認された。
• 提案された SVOR データセットには、1,958 組の動画ペアが含まれており、多様な動きとシーンをカバーしており、動画オブジェクト除去モデルの強固な学習および評価を可能としている。