[論文レビュー] An Internal Learning Approach to Video Inpainting

Haotian Zhang, Long Mai+4 more|arXiv (Cornell University)|Sep 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 16

ひとこと要約

本論文は、外部の学習データに依存せずに、1つの動画内での内部学習を活用して、欠損した外観とオプティカルフローを同時に生成する、新しい動画インpainting手法を提案する。Deep Image Prior（DIP）フレームワークを動画に拡張し、外観とフローを同時に最適化することで、長時間にわたる穴領域に対しても、優れた時間的整合性と歪みの少ない結果を達成する。

ABSTRACT

We propose a novel video inpainting algorithm that simultaneously hallucinates missing appearance and motion (optical flow) information, building upon the recent 'Deep Image Prior' (DIP) that exploits convolutional network architectures to enforce plausible texture in static images. In extending DIP to video we make two important contributions. First, we show that coherent video inpainting is possible without a priori training. We take a generative approach to inpainting based on internal (within-video) learning without reliance upon an external corpus of visual data to train a one-size-fits-all model for the large space of general videos. Second, we show that such a framework can jointly generate both appearance and flow, whilst exploiting these complementary modalities to ensure mutual consistency. We show that leveraging appearance statistics specific to each video achieves visually plausible results whilst handling the challenging problem of long-term consistency.

研究の動機と目的

• 大規模な外部データセットや事前学習モデルに依存せずに、動画インpaintingの課題に取り組むこと。
• 特に長距離のフレーム間においても、高水準の時間的整合性を確保すること。
• 入力動画自体の構造のみを用いる内部学習が、動画生成のための有効なインダクティブバイアスとして機能するかを検討すること。
• 外観と動き（オプティカルフロー）を同時に最適化することで、相互の整合性と視覚的妥当性を向上させること。
• 標準的な2D CNNアーキテクチャが、単一の動画に対する内部学習を通じて、時間的事前知識を暗黙的に学習できるかを示すこと。

提案手法

• 本手法は、Deep Image Prior（DIP）を想起させる2Dエンコーダ・デコーダCNNアーキテクチャを採用し、外部事前学習を一切行わず、入力動画そのものに対して直接学習を行う。
• 1回の順伝播でインpainted外観とオプティカルフロー場を同時に予測するエンドツーエンドの最適化を実行する。
• 外観と動きの予測同士の相互依存性を活用することで、時間的整合性を強化する一貫性に配慮した学習戦略を採用する。
• フレームk個のウィンドウ型入力を用い、欠損領域をマスクした動画バージョンを用いてネットワークを学習させ、元の領域を再構築する。
• 外観とフローのL1損失、および構造的忠実度を確保するための知覚的損失を組み合わせた損失関数を用いて、バックプロパゲーションにより最適化を行う。
• フレーム間での視覚的パターンの内部再帰を利用することで、明示的な時間モデルなしに、長時間にわたるシーケンスにわたり構造的情報を効果的に伝搬できる。

実験結果

リサーチクエスチョン

• RQ1 1つの動画内での内部学習が、動画インpaintingにおいて大規模な外部データセットの必要性を置き換えることができるか？
• RQ2 外観と動き（オプティカルフロー）をどのように同時に最適化することで、動画インpaintingにおける時間的整合性を向上させられるか？
• RQ3 明示的な再帰的構造や3次元畳み込みを用いない標準的な2D CNNアーキテクチャが、時間的依存性をどの程度暗黙的に学習できるか？
• RQ4 外観とフローを同時に最適化することで、フレーム単位や外観のみの手法と比較して、より優れた視覚的妥当性と歪みの低減が達成できるか？
• RQ5 入力フレームのウィンドウ長が、インpainting結果の一般化性能と再構築品質にどのように影響するか？

主な発見

• 外部学習データを一切使用せず、状態を凌駕する動画インpaintingの結果を達成し、フレーム単位のDIPやパッチベースのベースラインと比較して、時間的整合性と視覚的品質の両面で優れている。
• 外観とオプティカルフローの同時予測により、時間的整合性が顕著に向上し、視覚的アーチファクトや動きの不整合が低減された。
• 入力ウィンドウ長が長くなるほど、穴領域におけるインpainting品質が向上し、長距離時間的一般化が有効に機能していることが示された。
• 窓長が大きくなると、穴領域以外の領域の再構築品質が低下する傾向にあり、これは穴埋めと再構築忠実度のトレードオフを確認するものである。
• 学習された特徴量は、フレーム間で優れたインスタンスレベルの対応関係を示しており、同じ物体が長時間にわたり一貫して同定されている。これは、VGG-pool5特徴量が一般的な類似性しか捉えないのとは対照的である。
• 特に複雑な動きのシナリオにおいても、深層ネットワークの事前知識を活用することで、パッチベース手法にありがちな形状の歪みを効果的に回避できた。