[論文レビュー] Video Inpainting by Jointly Learning Temporal Structure and Spatial Details

Chuan Wang, Haibin Huang+2 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Image Processing Techniques参考文献 39被引用数 10

ひとこと要約

本論文は、3次元畳み込みネットワーク（3DCN）を用いて低解像度の時間的構造を予測し、2次元畳み込みネットワーク（CombCN）を用いて高解像度の空間的詳細を回復することで、時間的構造と空間的詳細を同時に学習する、エンドツーエンドの深層学習フレームワークを提案する。この手法は、視覚的品質と時間的整合性の両面で優れた性能を発揮し、3つのベンチマークデータセットにおいて、先行する学習ベースの手法を上回っている。

ABSTRACT

We present a new data-driven video inpainting method for recovering missing regions of video frames. A novel deep learning architecture is proposed which contains two sub-networks: a temporal structure inference network and a spatial detail recovering network. The temporal structure inference network is built upon a 3D fully convolutional architecture: it only learns to complete a low-resolution video volume given the expensive computational cost of 3D convolution. The low resolution result provides temporal guidance to the spatial detail recovering network, which performs image-based inpainting with a 2D fully convolutional network to produce recovered video frames in their original resolution. Such two-step network design ensures both the spatial quality of each frame and the temporal coherence across frames. Our method jointly trains both sub-networks in an end-to-end manner. We provide qualitative and quantitative evaluation on three datasets, demonstrating that our method outperforms previous learning-based video inpainting methods.

研究の動機と目的

• 複雑な外観と大きな欠損領域を有する高品質な動画補間の課題に対処すること。
• 時間的整合性を高めつつ、高解像度の空間的分解能と意味的整合性を維持すること。
• 画像補間手法の直接的な3次元拡張による制限を克服すること。これは、しばしば時間的に揺らぎが生じる結果をもたらす。
• 時間的構造のガイドランスが空間的詳細回復を向上させ、逆に空間的詳細のフィードバックが時間的構造予測を改善するような、共同学習フレームワークを設計すること。
• 相互の監視により両サブネットワークが向上するエンドツーエンド学習を可能にすること。

提案手法

• 低解像度の時間的構造予測のため、ダウンサンプリングされた動画ボリュームから入力を得る3次元畳み込みネットワーク（3DCN）を用いる。このネットワークは動きとグローバルコンテキストを捉える。
• 3DCNは、空間的詳細ネットワークのガイドランスとして機能する、粗いが時間的に整合性のある動画ボリュームを出力する。
• 2次元畳み込みネットワーク（CombCN）を用いて、元の動画と3DCNによる予測構造を入力とし、高解像度のフレームを回復する。
• 空間的詳細ネットワークは、時間的に一貫したリアルな画像詳細を保証するため、グローバルおよびローカルな$l_1$一貫性損失を採用する。
• 2つのサブネットワークはエンドツーエンドで共同学習され、空間的詳細損失のバックプロパゲーションが3DCNに伝わることで、時間的構造予測の精緻化が可能になる。
• 3次元の時間的ガイドランスを2次元の空間推論に統合することで、欠損領域の正確かつ整合性のある補間が可能になる。

実験結果

リサーチクエスチョン

• RQ1 2段階の3D-2D CNNアーキテクチャは、時間的構造と空間的詳細を同時に学習することで、動画補間の品質を向上させることができるか？
• RQ2 低解像度の3Dネットワークによる時間的構造ガイドランスは、高解像度フレーム回復のリアリズムと整合性にどのように影響を与えるか？
• RQ3 エンドツーエンドの共同学習が、時間的および空間的サブネットワークの性能に与える影響は何か？
• RQ4 本手法は、大きな欠損領域や不規則な形状の欠損領域を持つ動画を処理する際、ベースライン手法と比較してどのように優れているか？
• RQ5 本手法は、トレーニングデータからの動きの変化や分布シフトに対処する際に、どのような限界を示すか？

主な発見

• 提案手法は、3つのデータセットにおいて、定量的・定性的な両評価で、先行する学習ベースの動画補間手法を上回った。
• 共同学習戦略により、CombCNの収束誤差は6.39、3DCNは9.51にまで低下し、ベースラインモデルの4.20と4.45と比べて顕著に改善された。
• アブレーションスタディの結果、3DCNの事前学習後にCombCNをファインチューニングする（本研究の手法）ことで、学習開始からからの学習や3DCNの固定と比較して、収束が速く、損失が低くなった。
• 3DCNに時間軸のダウンサンプリングを導入したバージョンでは、収束誤差が11.56（3DCN）および8.13（CombCN）に上昇し、時間的詳細の損失に起因する性能低下が示された。
• 大規模な動きや顕著な視点変化を伴う動画では失敗事例が観察された。これは、3DCNの受容 field を超える大規模なオプティカルフローに対処できないという限界を示している。
• 本手法はGANを用いず、$l_1$損失のみに依存しているため、GANベースの画像補間と比較してリアリズムに欠ける可能性がある。今後の研究の方向性として、この点の改善が示唆される。