[論文レビュー] Deep Video Color Propagation

Simone Meyer, Victor Cornillère+3 more|arXiv (Cornell University)|Jan 1, 2018

Image Enhancement Techniques参考文献 31被引用数 7

ひとこと要約

本論文は、長時間の時間的シーケンスにわたる色の正確性を維持するために、局所的なフレームごとのワープとグローバルな意味特徴マッチングを組み合わせた深層学習フレームワークを提案する。局所的な運動に基づく戦略とグローバルな意味特徴マッチング戦略を、リファインメントネットワークを通じて融合することで、色再現の分野で最先端の性能を達成し、定量的および定性的な評価において、既存の動画および画像色再現手法、ならびにニューラルスタイル転送アプローチを顕著に上回った。

ABSTRACT

Traditional approaches for color propagation in videos rely on some form of matching between consecutive video frames. Using appearance descriptors, colors are then propagated both spatially and temporally. These methods, however, are computationally expensive and do not take advantage of semantic information of the scene. In this work we propose a deep learning framework for color propagation that combines a local strategy, to propagate colors frame-by-frame ensuring temporal stability, and a global strategy, using semantics for color propagation within a longer range. Our evaluation shows the superiority of our strategy over existing video and image color propagation methods as well as neural photo-realistic style transfer approaches.

研究の動機と目的

• 光学的フローに依存する伝統的な動画色再現手法が時間経過とともにドリフトやアーチファクトを生じるという限界を解消すること。
• 長距離の一貫性を確保するため、深層特徴マッチングによる意味理解を統合することで、動画における色再現を向上させること。
• 局所的な運動に基づくワープとグローバルな意味特徴転送を効果的に組み合わせる2段階のトレーニングフレームワークを開発すること。
• 時間的安定性および色の正確性という観点から、既存の画像および動画色再現手法（ニューラルフォトリアリスティックスタイル転送を含む）を上回ること。

提案手法

• 時間的整合性を確保しドリフトを低減するために、光学的フローを用いてフレーム単位で色をワープする局所的戦略。
• 長期間にわたる時間的範囲で最初のフレームからの色をマッチングおよび転送するために、深層意味特徴を用いるグローバル戦略。
• 局所的およびグローバル戦略の出力を統合し、最終的な色再現フレームを生成するための統合およびリファインメントネットワーク。
• 局所的およびグローバルなコンポonentを効果的に最適化するため、2段階のトレーニング手順を採用。
• 意味に敏感な色マッチングを可能にするために、深層ネットワークからの事前学習済み特徴を活用。
• パーソナリティ的およびPSNRベースの品質を最適化する損失関数を用い、動画シーケンス上でエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 局所的な運動ワープとグローバルな意味マッチングを組み合わせたハイブリッド深層学習アプローチは、動画における長期色再現を改善できるか？
• RQ2 意味特徴の統合は、フローに基づく手法やバイリテラルフィルタリング手法と比較して、色の一貫性をどのように向上させるか？
• RQ3 本手法は、時間的安定性という観点から、最先端の画像および動画色再現技術をどの程度上回るか？
• RQ4 長期間にわたるシーケンスにおいて、本手法はソースフレームの色を保持する点で、ニューラルフォトリアリスティックスタイル転送と比較してどのように差をつけるか？

主な発見

• 競合手法と比較して、50フレーム目でのPSNR誤差が著しく低く（41.23）、優れた時間的安定性を示した。
• 50フレームにわたって高い色再現性を維持し、動画再現ネットワーク[21]および高速バイリテラルソルバー[5]の平均誤差および長期誤差指標において優れた性能を発揮した。
• グローバル戦略により、大規模な動きやオクルージョン領域における色のドリフトやアーチファクトが低減され、特に局所的ワープが失敗する領域で顕著な改善が得られた。
• 69種類の多様な動画シーケンスにおける定量的評価により、全フレームで一貫した優位性が確認され、ベースラインと比較して誤差の増加が遅かった。
• 30 HDフレームの処理を1分未満で完了でき、[49]のような手法が30 HDフレームの処理に数時間を要するのと比較して、顕著な高速性を達成した。