[論文レビュー] BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization

Yixin Yang, Zhongzheng Peng+4 more|arXiv (Cornell University)|Dec 5, 2022

melanin and skin pigmentation被引用数 4

ひとこと要約

BiSTNetは、深層セマンティック対応とマルチスケール再帰的アーキテクチャを活用して、色の伝搬を向上させ、アーチファクトを低減する、セマンティック画像事前知識を用いた双方向時系列特徴統合ネットワークを提案する。セマンティックガイドと双方向時系列統合を統合することで、フレーム単位の精度と時系列的一致性の両方を向上させ、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

How to effectively explore the colors of reference exemplars and propagate them to colorize each frame is vital for exemplar-based video colorization. In this paper, we present an effective BiSTNet to explore colors of reference exemplars and utilize them to help video colorization by a bidirectional temporal feature fusion with the guidance of semantic image prior. We first establish the semantic correspondence between each frame and the reference exemplars in deep feature space to explore color information from reference exemplars. Then, to better propagate the colors of reference exemplars into each frame and avoid the inaccurate matches colors from exemplars we develop a simple yet effective bidirectional temporal feature fusion module to better colorize each frame. We note that there usually exist color-bleeding artifacts around the boundaries of the important objects in videos. To overcome this problem, we further develop a mixed expert block to extract semantic information for modeling the object boundaries of frames so that the semantic image prior can better guide the colorization process for better performance. In addition, we develop a multi-scale recurrent block to progressively colorize frames in a coarse-to-fine manner. Extensive experimental results demonstrate that the proposed BiSTNet performs favorably against state-of-the-art methods on the benchmark datasets. Our code will be made available at \url{https://yyang181.github.io/BiSTNet/}

研究の動機と目的

• エキジンプラ基準の動画色分けにおける時系列的一致性の欠如と色の漏れアーチファクトの課題に対処すること。
• 深層特徴空間におけるセマンティック対応を活用して、参照エキジンプラから色を効果的に転送することで、フレーム単位の色分け精度を向上させること。
• エキジンプラからの不正確な色マッチの影響を、双方向時系列特徴統合によって低減すること。
• 混合エキスパートブロックを用いてオブジェクトの意味とエッジをモデル化することで、境界に配慮した色分けを向上させること。
• マルチスケール再帰ブロックを用いて、粗いものから細かいものへ段階的に色分けを精錬することで、局所的およびグローバルな色の一致性を向上させること。

提案手法

• 入力フレームと参照エキジンプラの間で深層特徴空間におけるセマンティック対応を確立し、関連する色情報を転送する。
• 前向きおよび後向きの時系列方向からの特徴を統合する双方向時系列特徴統合ブロック（BTFB）を導入し、不正確な色伝搬を抑制する。
• セマンティックセグメンテーションとエッジマップを融合する混合エキスパートブロック（MEB）を採用し、オブジェクト境界での色分けをガイドし、色の漏れを低減する。
• 粗いものから細かいものへ段階的に色分けを精錬するマルチスケール再帰ブロック（MSRB）を用い、局所的およびグローバルな色の一致性を向上させる。
• エッジ損失とハード例マイニング損失を活用し、境界の忠実性と困難な領域に対する耐性を向上させる。
• L1損失、知覚的損失、敵対的損失の組み合わせを用いてエンドツーエンドでモデルを訓練し、高品質で自然な外観の結果を得る。

実験結果

リサーチクエスチョン

• RQ1 双方向時系列特徴統合は、エキジンプラからの不正確な色マッチの影響を動画色分けで低減できるか？
• RQ2 画像事前知識を組み込むことで、境界に配慮した色分けがどのように向上し、色の漏れアーチファクトが減少するか？
• RQ3 粗いものから細かいものへのマルチスケール再帰的アーキテクチャは、フレーム単位の色分け品質と時系列的一致性をどの程度向上させるか？
• RQ4 提案手法は、最先端のエキジンプラベースおよび自動動画色分け手法と比較して、どの程度効果的か？
• RQ5 複雑な現実世界のシーンにおいて、1つの参照フレームよりも2つの参照エキジンプラを使用することで性能が向上するか？

主な発見

• BiSTNetはDAVISベンチマークデータセットで最先端の性能を達成し、定量的指標と視覚的品質の両面で、既存のエキジンプラベースおよび自動色分け手法を上回る。
• アブレーションスタディにより、双方向時系列統合ブロックを削除すると性能が著しく低下することが確認され、不正確な色伝搬の抑制に有効であることが示された。
• 混合エキスパートブロックは色の漏れアーチファクトを低減する：セマンティックマスクやエッジマスクを含めない結果では、色の漏れ（例：Tシャツの色が腕に広がる）が顕著に見られ、完全なMEBでは正確な境界色分けが得られる。
• マルチスケール再帰ブロックはグローバルな色の一致性を向上させる。このブロックを除いた場合、色の汚染（例：屋根の色がフェンスに広がる）が発生するが、MSRBによりこれを緩和できる。
• エッジ損失とハード例マイニング損失は性能に顕著な寄与を示しており、これらを除去すると境界忠実性と全体の品質に顕著な劣化が見られる。
• 2つの参照エキジンプラを使用することで、1つの参照フレームよりも良い結果が得られるが、1つの参照ベースラインですら、先行する最先端手法を上回る性能を示している。