[論文レビュー] ConvTransformer: A Convolutional Transformer Network for Video Frame Synthesis

Zhouyong Liu, Shun Luo+6 more|arXiv (Cornell University)|Nov 20, 2020

Advanced Vision and Imaging参考文献 47被引用数 60

ひとこと要約

ConvTransformer はマルチヘッド畳み込み自己注意アーキテクチャを導入し、動画フレーム補間と外挿を統合し、最先端に近い結果を達成しつつ並列トレーニングを可能にする。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) are powerful models that have achieved excellent performance on difficult computer vision tasks. Although CNNs perform well whenever large labeled training samples are available, they work badly on video frame synthesis due to objects deforming and moving, scene lighting changes, and cameras moving in video sequence. In this paper, we present a novel and general end-to-end architecture, called convolutional Transformer or ConvTransformer, for video frame sequence learning and video frame synthesis. The core ingredient of ConvTransformer is the proposed attention layer, i.e., multi-head convolutional self-attention layer, that learns the sequential dependence of video sequence. ConvTransformer uses an encoder, built upon multi-head convolutional self-attention layer, to encode the sequential dependence between the input frames, and then a decoder decodes the long-term dependence between the target synthesized frames and the input frames. Experiments on video future frame extrapolation task show ConvTransformer to be superior in quality while being more parallelizable to recent approaches built upon convolutional LSTM (ConvLSTM). To the best of our knowledge, this is the first time that ConvTransformer architecture is proposed and applied to video frame synthesis.

研究の動機と目的

• 動く、変形する、照明が変化するオブジェクトを含む動画フレーム合成の課題を動機づけ、対処する。
• 補間と外挿の両方を扱う統一したエンドツーエンドアーキテクチャを提案する。
• 長距離依存関係をフレーム間でモデル化するマルチヘッド畳み込み自己注意機構を開発する。
• 再帰的アーキテクチャより効率的な並列トレーニングと推論を可能にする。

提案手法

• 共有4層CNNを介して入力フレームをコンパクトな特徴マップに埋め込む。
• 3D位置エンコーディングを適用してフレーム順情報を保持する。
• 多層スタックされたエンコーダ層でマルチヘッド畳み込み自己注意と畳み込みフィードフォワードネットワークを用いてフレーム列をエンコードする。
• エンコードされた特徴とクエリフレームに注意を向けるデコーダを用いて、学習された長距離依存を可能にする。
• U-Net 的構造の2段階の Synthesis Feed-Forward Network (SFFN) で最終フレームを合成する。
• 合成フレームとグランドトゥルーフレーム間の再構成誤差を最小化するためにピクセル単位のMSE損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 ConvTransformer は単一のエンドツーエンドアーキテクチャで動画フレームの補間と外挿を同時に処理できるのか？
• RQ2 マルチヘッド畳み込み自己注意は動画系列の長距離時系列・空間依存を効果的に捉えるのか？
• RQ3 ConvTransformer は標準ベンチマーク上で特殊化された補間・外挿手法と比較してどうか？

主な発見

Model	Next frame PSNR	Next frame SSIM	Adobe240fps PSNR	Adobe240fps SSIM	Vimeo90K PSNR	Vimeo90K SSIM	Average PSNR	Average SSIM
DVF	29.1493	0.9181	28.7414	0.9254	27.8021	0.9073	28.5642	0.9169
MCNet	27.6080	0.8504	28.2096	0.8796	28.6178	0.8726	28.1451	0.8675
Ours	29.2814	0.9205	30.4233	0.9457	30.5161	0.9406	30.0736	0.9356

• ConvTransformer はMCNetなどのConvLSTMベースの外挿ベースラインをいくつかのベンチマークで上回り、特に次フレーム外挿で優位である。
• 補間と外挿のタスクの両方で複数のデータセットに対して、複数の最先端手法と比較してより高いPSNR/SSIMを達成する。
• モデルはデータセット間で好ましい平均性能を示しており、統一アプローチの一般性を示している。
• 定性的な結果は、以前の手法と比較してよりシャープでフォトリアルなフレームを、アーティファクトが少なく表している。