[論文レビュー] Coherent Online Video Style Transfer

Dongdong Chen, Jing Liao+3 more|arXiv (Cornell University)|Mar 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 39

ひとこと要約

本論文は、短時間の動きベクトルとオクルージョンに敏感な特徴ブレンドを統合することで時間的整合性を保証する、オンライン動画スタイル転送のための最初のエンドツーエンドでフォワードプロパゲーション型のニューラルネットワークを提案する。事前学習済みの画像スタイル転送ネットワークを活用し、フレーム間で特徴を伝搬させることで、15 fpsというほぼリアルタイムの性能を達成し、ちらつきのない結果を得た。これはフレームごとのベースラインを上回り、最適化に基づく手法と同等の整合性を維持しながらも、1,000倍高速である。

ABSTRACT

Training a feed-forward network for fast neural style transfer of images is proven to be successful. However, the naive extension to process video frame by frame is prone to producing flickering results. We propose the first end-to-end network for online video style transfer, which generates temporally coherent stylized video sequences in near real-time. Two key ideas include an efficient network by incorporating short-term coherence, and propagating short-term coherence to long-term, which ensures the consistency over larger period of time. Our network can incorporate different image stylization networks. We show that the proposed method clearly outperforms the per-frame baseline both qualitatively and quantitatively. Moreover, it can achieve visually comparable coherence to optimization-based video style transfer, but is three orders of magnitudes faster in runtime.

研究の動機と目的

• フレームごとのニューラル動画スタイル転送におけるちらつきと時間的不整合を解消すること。
• フォワードプロパゲーション型ネットワークを用いて、リアルタイムかつ安定した動画シーケンスのスタイル転送を実現すること。
• 短時間の整合性をフレーム間で伝搬させることで、長期的な時間的整合性を達成すること。
• 既存の画像スタイル転送ネットワークと互換性があり、再訓練なしに新しいスタイルに一般化可能な手法を設計すること。
• 最適化ベースの動画スタイル転送と比較して実行時間を桁違いに短縮しつつも、視覚的品質を維持すること。

提案手法

• 連続するフレーム間の密集した特徴対応を推定するためのフロー・サブネットワークを統合し、特徴空間における動きの軌跡を整列する。
• オクルージョンと動きの不連続を検出するためのマスク・サブネットワークを組み込み、現在のフレームと前のフレームからの特徴を適応的にブレンド可能にする。
• 事前学習済みの画像スタイル転送ネットワークの中間層（r1/4）に両サブネットワークを埋め込み、コンテンツ表現と耐障害性のバランスを取る。
• スタイル転送と時間的整合性の両目的を組み合わせた共同損失関数を用いて、全体のアーキテクチャをエンドツーエンドで訓練する。
• 動きの軌跡に従って前のフレームからの特徴を伝搬させることで、短時間の整合性を長期的整合性へと拡張する。
• より良い動き整列を得るために、固定重み初期化よりも最適化されたFlowNetをフロー・サブネットワークとして使用する。

実験結果

リサーチクエスチョン

• RQ1 時間的整合性をモデル化することで、フォワードプロパゲーション型ネットワークが安定的でちらつきのない動画スタイル転送を達成できるか？
• RQ2 短時間の整合性を効果的に伝搬させることで、動画スタイル転送における長期的整合性をどのように達成できるか？
• RQ3 提案されたサブネットワークは、再訓練なしに新しいスタイルに一般化可能か？
• RQ4 視覚的および定量的整合性の観点から、本手法はフレームごとのベースラインに対してどの程度向上しているか？
• RQ5 最適化ベースの動画スタイル転送と比較して、本手法は速度と品質の両面でどの程度優れているか？

主な発見

• 本手法は、現代のGPU上で15 fpsを達成し、最適化ベースの動画スタイル転送と比較して1,000倍の高速化を実現した。
• 安定性誤差（e_stab）はr1(D)レイヤーの組み合わせで0.0038にまで低下し、ベースライン（e_stab = 0.0199）を著しく上回った。
• カメラの動きや物体の動きに対しても、視覚的に整合性のある結果が得られ、ちらつきやゴーストアーチファクトが最小限に抑えられた。
• 複数のスタイル（例：[9]）で学習させた場合、フローおよびマスクサブネットワークは再訓練なしに新しいスタイルに一般化され、安定性が保持された。
• 本手法は、視覚的および定量的にフレームごとのベースラインを上回り、最適設定下でPSIスコアが0.4851から0.4086に改善された。
• フロー・サブネットワークの微調整は、固定された事前学習済みバージョンを使用する場合よりも著しく優れた時間的整合性を達成した。