[論文レビュー] TimeColor: Flexible Reference Colorization via Temporal Concatenation

Bryan Constantine Sadihin, Yihao Meng+3 more|arXiv (Cornell University)|Jan 1, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

TimeColorは、参照を潜在フレームとして連結し、時空間対応付きマスク付きアテンションを適用することにより、異質で可変数の参照を用いてスケッチベースの動画着色を実現し、色忠実度と時間的一貫性を向上させる。

ABSTRACT

Most colorization models condition only on a single reference, typically the first frame of the scene. However, this approach ignores other sources of conditional data, such as character sheets, background images, or arbitrary colorized frames. We propose TimeColor, a sketch-based video colorization model that supports heterogeneous, variable-count references with the use of explicit per-reference region assignment. TimeColor encodes references as additional latent frames which are concatenated temporally, permitting them to be processed concurrently in each diffusion step while keeping the model's parameter count fixed. TimeColor also uses spatiotemporal correspondence-masked attention to enforce subject-reference binding in addition to modality-disjoint RoPE indexing. These mechanisms mitigate shortcutting and cross-identity palette leakage. Experiments on SAKUGA-42M under both single- and multi-reference protocols show that TimeColor improves color fidelity, identity consistency, and temporal stability over prior baselines.

研究の動機と目的

• 動機: 多様な参照（開始フレーム、任意のフレーム、複数参照シート）を活用して制作着色の労力を削減する。
• 目標: 固定パラメータ予算を維持しつつ、可変数・異種の参照をサポートする拡散-トランスフォーマーフレームワークを開発し、対象と参照の結合と時間的安定性を確保する。
• 自動データ収集パイプラインを導入し、トレーニング用の大規模な多参照着色データを作成する。

提案手法

• すべての conditioning signal を追加的潜在フレームとしてエンコードし、時間的連結を介して変数参照条件付けを固定バックボーンで可能にする。
• 対象、スケッチ、参照トークンを分離するモダリティ区別型 RoPE（Rotary Position Embedding）を使用する。
• 時空間対応マスク付きアテンションを用いて各対象領域を指定された参照に結びつけ、アイデンティティ間の漏洩を防ぐ。
• ターゲット潜在表現には監督信号を適用しつつ、参照/スケッチは Conditioning signal として扱う標準的な拡散目的で学習する。
• 自動追跡とセグメンテーション（InternVL3、GroundingDINO、SAM2）を用いた大規模な多参照データセットをフレームごとの対応マスク付きで構築する。
• 開始フレーム、任意フレーム、複数参照プロトコルでTimeColorをSAKUGA-42M上で評価し、標準指標を用いて従来ベースラインと比較する。

Figure 1: TimeColor enables sketch video colorization with a fixed parameter budget, conditioning on heterogeneous, variable-count references. It generates identity-consistent, temporally stable colorized animations from sketch videos, aiming to reduce manual 2D colorization effort.

実験結果

リサーチクエスチョン

• RQ1 TimeColorはモデルパラメータを増やさずに可変数・異種の参照を条件付けできるか。
• RQ2 モダリティ区別RoPEと対応マスク付きアテンションを用いた時空間連結は、多参照着色における参照のショートカット化や跨アイデンティティ漏洩を低減するか。
• RQ3 単一参照と複数参照設定で、色忠実度・アイデンティティ保持・時間的安定性の観点でTimeColorはどう機能するか。

主な発見

方法	SSIM ↑	PSNR ↑	LPIPS ↓	FVD ↓	FID ↓
VACE	0.4810	12.85	0.4018	757.50	113.06
LVCD	0.5469	11.18	0.3996	522.21	75.86
AniDoc	0.7536	20.79	0.2133	256.33	65.79
ToonCrafter	0.7487	21.75	0.1895	268.02	45.26
ToonComposer	0.7046	20.09	0.2371	302.15	44.79
LongAnimation	0.7193	20.34	0.2461	292.54	54.41
TimeColor (Ours)	0.8496	24.95	0.1309	158.58	38.88
TimeColor (Prop. Masks)	0.7585	18.95	0.2364	260.81	61.62
VACE	0.4600	12.24	0.4238	772.32	116.73
LVCD	0.5189	10.49	0.4436	597.94	89.18
AniDoc	0.7189	18.97	0.2555	306.07	73.99
ToonCrafter	0.6957	19.47	0.2415	322.14	54.07
ToonComposer	0.5657	15.31	0.3611	457.37	67.68
LongAnimation	0.6592	18.04	0.3105	359.98	66.07
TimeColor (Ours)	0.8071	21.98	0.1822	204.07	49.01
VACE	0.3369	9.76	0.5342	888.22	132.90
LVCD	0.4846	10.58	0.5198	696.53	115.30
AniDoc	0.5798	13.50	0.4042	505.83	109.25
ToonCrafter	0.5002	13.02	0.4173	500.44	99.17
ToonComposer	0.4294	12.00	0.5135	501.54	87.86
LongAnimation	0.4731	12.68	0.4841	552.10	100.64
TimeColor (Ours)	0.7589	18.89	0.2361	257.41	61.78
TimeColor (Prop. Masks)	0.7585	18.95	0.2364	260.81	61.62

• TimeColorはSAKUGA-42M テストセットにおける色忠実度と時間的一貫性で設定全般で最高スコアを達成した（単一参照・複数参照）。
• 単一参照の開始フレームでは、TimeColorはSSIM、PSNR、LPIPS、FVD、FIDをベースラインより顕著に改善した。
• 任意フレームおよび複数参照の領域でもTimeColorは競争力が高く、参照多様性へ頑健性を示した。
• アブレーションにより、モダリティ区別RoPEと完全な時空間対応マスク付きアテンションが、色漏れを防ぎ参照結合を維持するうえで重要であることが示された。

Figure 2: Overview of TimeColor . Given a sketched video and a variable-length reference bank (starting-frame, arbitrary-frame, and multi-reference cues), TimeColor conditions a DiT video diffusion model via temporal token concatenation, modality-disjoint RoPE, and correspondence-masked attention to