[論文レビュー] Decoupled Spatial-Temporal Transformer for Video Inpainting

Rui Liu, Hanming Deng+7 more|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 47

ひとこと要約

DSTT（Decoupled Spatial-Temporal Transformer）と階層型エンコーダを導入し、時系列内のオブジェクト移動と背景テクスチャの伝播を別個にモデル化することで、動画インペインティングを効率的に行い、より高い効率性で最先端の結果を達成。

ABSTRACT

Video inpainting aims to fill the given spatiotemporal holes with realistic appearance but is still a challenging task even with prosperous deep learning approaches. Recent works introduce the promising Transformer architecture into deep video inpainting and achieve better performance. However, it still suffers from synthesizing blurry texture as well as huge computational cost. Towards this end, we propose a novel Decoupled Spatial-Temporal Transformer (DSTT) for improving video inpainting with exceptional efficiency. Our proposed DSTT disentangles the task of learning spatial-temporal attention into 2 sub-tasks: one is for attending temporal object movements on different frames at same spatial locations, which is achieved by temporally-decoupled Transformer block, and the other is for attending similar background textures on same frame of all spatial positions, which is achieved by spatially-decoupled Transformer block. The interweaving stack of such two blocks makes our proposed model attend background textures and moving objects more precisely, and thus the attended plausible and temporally-coherent appearance can be propagated to fill the holes. In addition, a hierarchical encoder is adopted before the stack of Transformer blocks, for learning robust and hierarchical features that maintain multi-level local spatial structure, resulting in the more representative token vectors. Seamless combination of these two novel designs forms a better spatial-temporal attention scheme and our proposed model achieves better performance than state-of-the-art video inpainting approaches with significant boosted efficiency.

研究の動機と目的

• 時系列の一貫性とテクスチャ品質を保ちながら、堅牢で効率的な動画インペインティングを動機づける。
• 計算量を削減するために、空間注意と時間注意を分離するTransformerベースのフレームワークを開発する。
• 注意ベースの伝播の前に多層の局所空間構造を保持する階層型エンコーダを組み込む。
• 効率を改善しつつ、動画補完とオブジェクト除去で最先端の性能を実証する。

提案手法

• 堅牢なトークン表現を生成するために、フレームごとに多段階特徴を混ぜ合わせる階層型エンコーダを提案する。
• 同じ空間ゾーンを時間的にまたいで分離した時間的注意と、各フレーム内で全トークンに跨る空間的注意を組み合わせた、2つのTransformerブロックの編組を使用する。
• 特徴マップをs×sゾーンに分割して、時間的・空間的注意をより簡便にし、効率化する。
• ブロックを交互にTDB-SDBパターンで積み重ね、時空間伝搬を徹底的に行えるようにする。
• 動画をマスクして再構成する自己教師あり設定でエンドツーエンドに学習し、再構成損失と対向的損失（L_hole, L_valid, L_adv）で学習する。
• G = G_HE ∘ G_DSTT ∘ G_Decを構成し、G_HEは階層エンコーダ、G_DSTTはデカップルド・トランスフォーマー・スタック、G_DecはCNNデコーダである。

実験結果

リサーチクエスチョン

• RQ1 空間と時間の注意を分離することは、インペインティング品質を維持または向上させつつ計算コストを削減できるか？
• RQ2 階層型エンコーダは、Transformerベースの動画インペインティングにおけるトークンの表現品質を改善するか？
• RQ3 時系列分離ブロックと空間分離ブロックの編組パターンが、再構成品質と効率にどう影響するか？
• RQ4 標準的な動画データセットにおける最先端手法と比較したPSNR/SSIM/VFIDの利得と速度はどれくらいか？
• RQ5 本法は動画補完とオブジェクト除去の両方のタスクに対して頑健か？

主な発見

• DSTTは動画補完でYouTube-VOSとDAVISにおいて最先端のPSNRを達成し、SSIMとVFIDは競争力を持つ。
• 提案手法は、報告された手法の中でFLOPsが比較的低い（128B）ながら最も高いFPS（37.3）を達成。
• アブレーションにより、階層型エンコーダがPSNRを最大約0.4点改善し、VFIDを低減することが示され、マルチレベル特徴の混合の利点を確認。
• 特徴マップをゾーンに分割する（s=2）は、単一のグローバル注意（s=1）や極端に細かいゾーニング（s>4）よりも精度と効率のトレードオフが良い。
• 時系列分離ブロックと空間分離ブロックを交互に編成した方法は、単一ブロックの変種より一貫して優れており、交互の時空間伝搬の利点を浮き彫りにしている。