[論文レビュー] A Temporally-Aware Interpolation Network for Video Frame Inpainting

Ximeng Sun, Ryan Szeto+1 more|arXiv (Cornell University)|Mar 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 3

ひとこと要約

本論文は、隣接フレームからの前方および後方予測を共有畳み込みLSTMエンコーダ・デコーダを用いて行い、その後、時間に敏感なブレンドと隠れ特徴の統合を用いて不整合を解消し精度を向上させる時間に敏感な補間（TAI）ネットワークで、欠落した中間フレームを生成する、動画フレーム補間のための新しい深層学習フレームワークを提案する。この手法は、KTH Actions、HMDB-51、UCF-101データセットで最先端の性能を達成する。

ABSTRACT

We propose the first deep learning solution to video frame inpainting, a challenging instance of the general video inpainting problem with applications in video editing, manipulation, and forensics. Our task is less ambiguous than frame interpolation and video prediction because we have access to both the temporal context and a partial glimpse of the future, allowing us to better evaluate the quality of a model's predictions objectively. We devise a pipeline composed of two modules: a bidirectional video prediction module, and a temporally-aware frame interpolation module. The prediction module makes two intermediate predictions of the missing frames, one conditioned on the preceding frames and the other conditioned on the following frames, using a shared convolutional LSTM-based encoder-decoder. The interpolation module blends the intermediate predictions to form the final result. Specifically, it utilizes time information and hidden activations from the video prediction module to resolve disagreements between the predictions. Our experiments demonstrate that our approach produces more accurate and qualitatively satisfying results than a state-of-the-art video prediction method and many strong frame inpainting baselines.

研究の動機と目的

• 前後フレームのみを用いて、時間的に連続する欠落した動画フレームを再構築する課題に対処すること。
• 時間的前後両方向の文脈を活用することで、動画フレーム補間における曖昧さを低減すること。
• 学習可能なブレンド機構により、双方向予測間の不整合を解消することで予測品質を向上させること。
• 変動する欠落フレーム数、特に長いフレーム列に対しても一般化可能なモデルを開発すること。
• 一般動画補間、フレーム補間、または動画予測とは異なる、深層学習を用いた動画フレーム補間のための新たなベンチマークを確立すること。

提案手法

• 本手法は、共有畳み込みLSTMベースのエンコーダ・デコーダを用いた双方向動画予測モジュールを用い、前方予測（過去フレームに条件付けられたもの）と後方予測（未来フレームに条件付けられたもの）の2つの中間予測を生成する。
• 時間に敏感な補間（TAI）ネットワークは、時間ステップ情報を用いて対応する予測フレームペアをブレンドし、時間的位置に応じて適応する時間に敏感なブレンドを可能にする。
• TAIネットワークは、動画予測モジュールの隠れ活性化を補助入力として組み込み、予測間の空間的不整合を解消するためのブレンドプロセスをガイドする。
• ブレンドネットワークは、VGGブロックを備えたU-Netに類似したアーキテクチャを採用し、文脈に応じて2つの予測を動的に重みづける1次元畳み込みカーネルを学習する。
• モデルは再構築損失（L1）と adversarial 損失を組み合わせた損失関数で訓練され、訓練安定性を高めるために判別器にスペクトル正規化が適用される。
• 訓練は、ランダムな水平反転と時間反転を用いたデータオーグメンテーションを実施し、複数の人体行動データセットで、欠落フレーム数が異なる状況でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 小規模な空間的・時間的穴に依存せずに、前方および後方フレームのみを入力として与えた場合に、深層学習モデルが効果的に欠落した動画フレームを再構築できるか。
• RQ2 過去と未来の両方のフレームからの双方向予測をどのように統合することで、動画フレーム補間における曖昧さを低減し、再構築品質を向上させられるか。
• RQ3 時間に敏感なブレンドと隠れ特徴の統合を組み込むことで、単純な平均化や初期融合と比較して、予測フレームの整合性と現実性がどの程度向上するか。
• RQ4 TAIネットワークは、固定された中間フレーム数で学習された後でも、変動する数の欠落フレームに一般化できるか。
• RQ5 本手法は、動画予測、フレーム補間、一般動画補間の強力なベースラインと比較して、定量的および定性的にどの程度優れているか。

主な発見

• 提案されたTAIネットワークは、KTH Actions、HMDB-51、UCF-101データセットにおいて、すべての比較ベースライン、包括して最先端の動画予測およびフレーム補間手法を上回る高いPSNRおよびSSIMスコアを達成する。
• bi-TWおよびMC-Netベースラインと比較して、特に長いフレーム欠落列を扱う場合に顕著な性能向上を示し、定量的指標と視覚的品質の両方で優位性を示す。
• TAIネットワークは変動する数の欠落フレームに対しても良好に一般化する：6～9フレームの欠落フレームでテストした際も高い性能を維持しており、時間符号化の有効なスケーリングが実証された。
• アブレーションスタディにより、TAIネットワークのすべての構成要素—時間に敏感なブレンド、特徴統合、二重予測—が性能向上に寄与していることが確認され、いずれの構成要素を除外してもPSNRおよびSSIMが低下する。
• 特に運動の整合性と空間的アライメントが重要な複雑な人体行動シーケンスにおいて、ベースラインと比較してより視覚的に整合性があり、時間的に一貫性のある予測を生成する。