[論文レビュー] Reference-Based Video Colorization with Spatiotemporal Correspondence

Naofumi Akimoto, Akio Hayakawa+2 more|arXiv (Cornell University)|Nov 25, 2020

Image Enhancement Techniques参考文献 27被引用数 7

ひとこと要約

本論文は、時間的整合性のある領域からのみ色をワープすることで、色の漏れや平均化色付けを防ぐ、リファレンスベースの動画色付け手法を提案する。インスタンス追跡と密追跡を組み合わせてマスクを時間的に伝搬させることで、忠実で長期的な色付けを実現し、定量的指標および定性的な忠実度において最先端の手法を上回る性能を達成した。

ABSTRACT

We propose a novel reference-based video colorization framework with spatiotemporal correspondence. Reference-based methods colorize grayscale frames referencing a user input color frame. Existing methods suffer from the color leakage between objects and the emergence of average colors, derived from non-local semantic correspondence in space. To address this issue, we warp colors only from the regions on the reference frame restricted by correspondence in time. We propagate masks as temporal correspondences, using two complementary tracking approaches: off-the-shelf instance tracking for high performance segmentation, and newly proposed dense tracking to track various types of objects. By restricting temporally-related regions for referencing colors, our approach propagates faithful colors throughout the video. Experiments demonstrate that our method outperforms state-of-the-art methods quantitatively and qualitatively.

研究の動機と目的

• 非局所的な空間的対応によって引き起こされる色の漏れや平均化色付けの問題を解消すること。
• 長時間にわたる動画色付けにおける時間的整合性とユーザーの制御性を向上させること。
• 誤った色伝搬に依存するのを減らし、時間的に色を伝搬するのではなくマスク伝搬を用いること。
• 明確に分離された物体に対してインスタンスに応じた色付けを可能とし、細粒度の非インスタンス対象に対しては密追跡を適用すること。
• リファレンスフレームと時間的・空間的に整合する領域に限って色のワープを制限することで、色の忠実度を向上させること。

提案手法

• 空間的・時間的対応を達成するための3段階フレームワーク（追跡、ワープ、精錬）を採用する。
• 異なる物体をセグメンテーションおよび追跡するためにインスタンス追跡を用い、インスタンス間で色が混合されないよう保証する。
• インスタンス追跡のカバー範囲外または複雑な運動を示す対象に対して、ピクセルレベルの領域を追跡するための密追跡を導入する。
• マスクを伝搬させた結果、ターゲットフレームと時間的に相関するリファレンスフレーム内の領域からのみ色がワープされる。
• リファレンスフレームとターゲットフレーム間の意味的特徴の類似度を用いて空間的対応を計算し、正確な色移行を保証する。
• ワープアーチファクトの補正と時間的整合性の向上を目的とした、エンコーダ・デコーダネットワークを用いた精錬段階を導入する。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的対応は、リファレンスベースの動画色付けにおける物体間の色の漏れを低減できるか？
• RQ2 インスタンス追跡と密追跡を組み合わせることで、複雑なシーンにおける色付け精度はどのように向上するか？
• RQ3 時間的にマスクを伝搬させることで、色の伝搬に比べて長期間にわたる色の整合性を維持できるか？
• RQ4 注釈ベースのモデルと比較して、提案手法はユーザーの制御性をどの程度向上させるか？
• RQ5 背景の変化や急激な物体移動を伴う動画においても、高忠実度を維持できるか？

主な発見

• 1フレーム目の単一リファレンスを用いた場合、DAVIS-2017でPSNR 28.76を達成し、従来手法を上回った。
• 複数のリファレンスを用いた場合、VidevoではPSNR 28.10を達成し、多様な動画コンテンツにわたり高いロバスト性を示した。
• 閾値16における%オーバーライアーメトリックは、Ours (inst.+dense) がDAVISで11.6%、Videvoで11.2%を記録し、従来手法と比べ顕著に低かった。
• 閾値8の場合、4K解像度で約290,000ピクセル（540×540）のユーザー再描画作業が削減されたことから、高いユーザー制御性を示した。
• 密追跡は性能向上に大きく寄与しており、特にフルフレーム評価では、Ours (dense) がPSNRおよびオーバーライアーメトリックの両面でOurs (inst.) を上回った。
• アブレーションスタディの結果、追跡を除去すると性能が低下することが確認され、正確な色移行のためにはマスク伝搬が不可欠であることが裏付けられた。