[論文レビュー] Deep Line Art Video Colorization with a Few References

Min Shi, Jiaqi Zhang+4 more|arXiv (Cornell University)|Mar 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 7

ひとこと要約

本論文では、少数の参照画像のみを用いて自動的にラインアート動画の色付けを行うためのディーブラーニングフレームワークを提案する。局所的な色移動には非局所類似マッチングを、グローバルな色の整合性にはAdaINとスタイル埋め込みを組み合わせ、3次元畳み込み時間ネットワークによって強化されている。本手法は最先端の性能を達成し、最小限のファインチューニングデータで新しいアニメーションスタイルにも良好に一般化できる。

ABSTRACT

Coloring line art images based on the colors of reference images is an important stage in animation production, which is time-consuming and tedious. In this paper, we propose a deep architecture to automatically color line art videos with the same color style as the given reference images. Our framework consists of a color transform network and a temporal constraint network. The color transform network takes the target line art images as well as the line art and color images of one or more reference images as input, and generates corresponding target color images. To cope with larger differences between the target line art image and reference color images, our architecture utilizes non-local similarity matching to determine the region correspondences between the target image and the reference images, which are used to transform the local color information from the references to the target. To ensure global color style consistency, we further incorporate Adaptive Instance Normalization (AdaIN) with the transformation parameters obtained from a style embedding vector that describes the global color style of the references, extracted by an embedder. The temporal constraint network takes the reference images and the target image together in chronological order, and learns the spatiotemporal features through 3D convolution to ensure the temporal consistency of the target image and the reference image. Our model can achieve even better coloring results by fine-tuning the parameters with only a small amount of samples when dealing with an animation of a new style. To evaluate our method, we build a line art coloring dataset. Experiments show that our method achieves the best performance on line art video coloring compared to the state-of-the-art methods and other baselines.

研究の動機と目的

• アニメ制作における手動の色付けの高コストと時間消費を低減すること。
• グローバルな色のスタイル整合性を保ちながら、ラインアート動画の自動色付けを可能にすること。
• フレーム単位の伝搬に依存することなく、逐次フレームの色付けによる誤差蓄積を回避すること。
• 少数のトレーニングサンプルでのみ、新しいアニメーションスタイルへの効果的な適応を可能にすること。
• ラインアート動画の色付け手法を評価するためのベンチマークデータセットを構築すること。

提案手法

• カラー変換ネットワークは、ターゲットのラインアートと参照画像間の領域対応を特定するため、非局所類似マッチングを用いて局所的な色移動を実現する。
• スタイル埋め込みベクトルを用いて適応的インスタンス正規化（AdaIN）を適用し、参照画像からのグローバルな色のスタイル整合性を強制する。
• 3次元畳み込み時間制約ネットワークは、空間的・時間的特徴を学習し、動画フレーム間での色の整合性を維持する。
• モデルはエンドツーエンドで訓練可能であり、新しいアニメーションスタイルに対して32本の動画シーケンス程度のファインチューニングで利用可能である。
• フレームワークはターゲットのラインアート画像と1枚以上の参照画像（ライン＋色）を入力として受け取り、時間的に整合性がありスタイルに一致する色の結果を生成する。
• 各フレームに対して過去のフレーム出力を頼らず、元の参照画像を直接参照することで、誤差の蓄積を回避する。

実験結果

リサーチクエスチョン

• RQ1 少数の参照画像のみを用いて、ディーブラーニングモデルが高品質なラインアート動画の色付けを達成できるか？
• RQ2 スパarsな参照画像からの色付けにおいて、動画シーケンス全体でグローバルな色のスタイル整合性をどのように維持できるか？
• RQ3 完全な再トレーニングなしで、少数のファインチューニングサンプルでのみ、新しいアニメーションスタイルに適応できるか？
• RQ4 逐次フレーム伝搬手法と比較して、誤差蓄積と視覚的品質の観点で、本手法はどのように優れているか？
• RQ5 性能とデータ効率のバランスを取るための最適な参照画像数とファインチューニングシーケンス数は何か？

主な発見

• 本手法は、ラインアート動画の色付けにおいて最先端の性能を達成し、定量的・定性的な両評価でTCVC [7] および他のSOTAベースラインを上回っている。
• 新しいアニメーションスタイルに対して32本のファインチューニングシーケンスを用いることで、PSNRが20.21、FIDが71.84に向上し、ベースモデルを著しく上回っている。
• 5枚の参照画像を用いることで、品質の最良なトレードオフが達成され、FIDは21.79に低下し、PSNRは23.83に上昇するが、K=3を超えると増益は頭打ちになる。
• 32本のシーケンスでのファインチューニングで性能が安定し、32本を超えても結果に変化がなく、収益の逓減が確認された。
• 未観測のアニメーションに対しても、新しいスタイルに対して32本のシーケンスでのファインチューニングで高品質な結果が得られ、良好な一般化性能を示している。
• アブレーションスタディにより、局所的（非局所マッチング）およびグローバル的（AdaIN）なコンポーネントの両方が、高品質な色付けに不可欠であることが確認された。