[論文レビュー] Deep Exemplar-based Video Colorization

Bo Zhang, Mingming He+5 more|arXiv (Cornell University)|Jun 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 10

ひとこと要約

本論文は、時間的安定性と現実性を両立させる再帰的ネットワークを用いて、意味的対応と色再現を統合する、エキジンプラーに基づく動画色付けのための最初のエンドツーエンドディープラーニングフレームワークを提案する。時間的一致性損失を用いて照応サブネットと色付けサブネットを同時に学習することで、定量的指標およびユーザースタディーの両面で最先端の手法を上回る優れた時間的安定性と現実性を達成する。

ABSTRACT

This paper presents the first end-to-end network for exemplar-based video colorization. The main challenge is to achieve temporal consistency while remaining faithful to the reference style. To address this issue, we introduce a recurrent framework that unifies the semantic correspondence and color propagation steps. Both steps allow a provided reference image to guide the colorization of every frame, thus reducing accumulated propagation errors. Video frames are colorized in sequence based on the colorization history, and its coherency is further enforced by the temporal consistency loss. All of these components, learned end-to-end, help produce realistic videos with good temporal stability. Experiments show our result is superior to the state-of-the-art methods both quantitatively and qualitatively.

研究の動機と目的

• 参照スタイルへの忠実性を保ちながら、動画色付けにおける時間的不一致の課題に対処する。
• 各フレームを個別に色付けする際の誤差蓄積を、参照画像を用いて各フレームをガイドすることで克服する。
• 意味的対応と色再現を1つの再帰的アーキテクチャに統合し、共同最適化を実現する。
• 異なるシーンの参照画像を用いても頑健な色付けを可能にし、カスタマイズ可能なマルチモーダルな結果をサポートする。
• 新しい損失関数を用いたエンドツーエンド学習により、リアルタイムの推論速度を維持しながら高品質な色付けを実現する。

提案手法

• 過去のフレームの色付け出力をコンテキストとして用い、フレームを逐次処理する再帰的ニューラルネットワークを採用する。
• 参照画像と各入力フレーム間の密な意味的対応を学習する照応サブネットを導入する。
• アライメント済みの参照画像と前フレームの色付け出力を、色付けサブネットの二重ガイドとして用い、一貫性があり現実的な色を生成する。
• L1損失、知覚的損失、FIDに基づく現実性損失、時間的一致性損失を組み合わせた複合損失を用いて、ネットワーク全体をエンドツーエンドで学習する。
• 隣接フレーム間の色の差をペナルティとして課す時間的一致性損失を導入し、フレッカリングを低減する。
• 参照画像を動画とは異なるシーンからのものにできる柔軟な使用を可能にし、マルチモーダルな色付けを実現する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、再帰的動画色付けフレームワークにおいて、意味的対応と色付けを同時に最適化できるか？
• RQ2 フレーム単位の伝搬に依存せず、エキジンプラーに基づく動画色付けにおける時間的一致性をどのように向上させられるか？
• RQ3 異なるシーンの参照画像が、動画フレーム全体にわたり現実的で一貫性のある色付けをどれだけ効果的にガイドできるか？
• RQ4 複数の損失を組み合わせたエンドツーエンド学習は、後処理や反復的アライメント手法に比べ、速度と品質の両面で優れているか？
• RQ5 視覚的現実性、時間的一致性、ユーザーライクスの観点から、本手法は最先端の手法と比べてどのように差をつけるか？

主な発見

• 比較手法の中で最も低いFréchet Inception Distance (FID) スコアを達成し、最も現実的な色付け結果であることを示している。
• ユーザースタディーにおいて、1フレームごとの自動色付け手法と比較した際、50.66%の比較で最良と選ばれ、他の手法を顕著に上回った。
• 伝搬タスクにおいて、長時間のフレーム列にわたり安定したPSNR曲線を達成し、光流に基づく手法やSTN/VPN手法よりも長距離の一貫性が優れていた。
• 1フレームあたり0.61秒の推論速度を達成しており、反復的アライメントを用いた最先端手法[30]の約100倍速く、2桁の速度向上を達成した。
• 参照画像が動画とは異なるシーンからのものであっても、鮮やかでアーティファクトのない結果を生成し、フレッカリングも最小限に抑えられた。
• 時間的一致性損失は、フレーム間の色の変動を効果的に低減し、滑らかで安定した動画シーケンスを生成した。