[論文レビュー] Learnable Gated Temporal Shift Module for Deep Video Inpainting

Ya-Liang Chang, Zhe Yu Liu+2 more|arXiv (Cornell University)|Jul 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 52

ひとこと要約

Learnable Gated Temporal Shift Module (LGTSM) を導入し、2D CNN が自由形式の動画インペインティングのために時間情報を無料で活用できるようにし、3D-Conv ベースラインに対して約 one-third のパラメータ数と推論時間で最先端の結果を達成する。

ABSTRACT

How to efficiently utilize temporal information to recover videos in a consistent way is the main issue for video inpainting problems. Conventional 2D CNNs have achieved good performance on image inpainting but often lead to temporally inconsistent results where frames will flicker when applied to videos (see https://www.youtube.com/watch?v=87Vh1HDBjD0&list=PLPoVtv-xp_dL5uckIzz1PKwNjg1yI0I94&index=1); 3D CNNs can capture temporal information but are computationally intensive and hard to train. In this paper, we present a novel component termed Learnable Gated Temporal Shift Module (LGTSM) for video inpainting models that could effectively tackle arbitrary video masks without additional parameters from 3D convolutions. LGTSM is designed to let 2D convolutions make use of neighboring frames more efficiently, which is crucial for video inpainting. Specifically, in each layer, LGTSM learns to shift some channels to its temporal neighbors so that 2D convolutions could be enhanced to handle temporal information. Meanwhile, a gated convolution is applied to the layer to identify the masked areas that are poisoning for conventional convolutions. On the FaceForensics and Free-form Video Inpainting (FVI) dataset, our model achieves state-of-the-art results with simply 33% of parameters and inference time.

研究の動機と目的

• 自由形式の動画インペインティングにおける時間情報の効率的な活用を動機づける。
• 3D畳み込みを使わずに、2D畳み込みを時間的文脈で拡張するモジュールを開発する。
• 畳み込みを汚染するマスキング領域を識別するゲーティングを導入する。
• 著しく少ないパラメータと高速な推論で最先端の結果を達成する。
• 時間的リアリズムを向上させる損失フレームワーク（TSMGAN）を提案する。

提案手法

• 残差 Temporal Shift Module (TSM) を学習可能な時間シフトカーネル（LGTSM）で拡張する。
• 各層で、学習可能なカーネルを用いて特徴チャネルの一部を隣接フレームへシフトする。
• 有効、インペイント済み、マスク済み領域を識別するゲーティングマップを生成するゲーティング畳み込みを適用する。
• ゲーティングシフトと 2D 畳み込みを組み合わせ、ゲーティングマップによって調整された特徴を出力する。
• l1、パーセプチュアル、スタイル、および TSMGAN 敵対的損失の組み合わせで訓練する。
• スペクトル正規化を用いた U-Net 型ジェネレータと TSMGAN 判別器を用いる。

実験結果

リサーチクエスチョン

• RQ1 LGTSM は 2D CNN が自由形式の動画インペインティングで時間情報を効果的に活用できるようにするのか？
• RQ2 学習可能な時間シフトは、固定の TSM および 3D 畳み込みと比較して時間的一貫性と品質を改善するのか？
• RQ3 難易度の高い自由形式マスクと多様な動画コンテンツにおける LGTSM の性能はどうか？
• RQ4 TSMGAN 損失が時間的リアリズムと全体的品質に及ぼす影響は？

主な発見

• ゲーティングを用いた LGTSM は FaceForensics および Free-form Video Inpainting (FVI) データセットで最先端または競争力のある結果を達成する。
• LGTSM は 3D-畳み込みベースラインと比較して約 33% のパラメータと推論時間しか必要とせず、知覚的品質（LPIPS、FID）も同等の品質を提供する。
• アブレーションにより、ゲーティング畳み込みと TSMGAN 損失の双方が性能に大きく寄与することが示され、学習可能なシフトカーネルは最小限のパラメータコストで追加の利得を生む。
• TSMGAN で微調整する前にジェネレータを事前訓練すると、訓練が速くなり安定性が向上する。
• LGTSM は定性的にも優れた性能を示し、不規則なマスク全体で時間的に一貫したインペイント動画を生成する。