[論文レビュー] cGAN-based Manga Colorization Using a Single Training Image

Paulina Hensman, Kiyoharu Aizawa|arXiv (Cornell University)|Jun 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 10

ひとこと要約

本稿では、著作権制限によるカラーマンガデータセットの不足を克服するため、学習に単一のカラーリング済み参照画像のみを必要とする、条件付きGAN（cGAN）ベースのマンガ色分け手法を提案する。cGANと後処理によるセグメンテーションおよび色補正を組み合わせることで、アーチファクトを最小限に抑え、元のキャラクターの色調を保持したシャープで高解像度の結果を達成する。

ABSTRACT

The Japanese comic format known as Manga is popular all over the world. It is traditionally produced in black and white, and colorization is time consuming and costly. Automatic colorization methods generally rely on greyscale values, which are not present in manga. Furthermore, due to copyright protection, colorized manga available for training is scarce. We propose a manga colorization method based on conditional Generative Adversarial Networks (cGAN). Unlike previous cGAN approaches that use many hundreds or thousands of training images, our method requires only a single colorized reference image for training, avoiding the need of a large dataset. Colorizing manga using cGANs can produce blurry results with artifacts, and the resolution is limited. We therefore also propose a method of segmentation and color-correction to mitigate these issues. The final results are sharp, clear, and in high resolution, and stay true to the character's original color scheme.

研究の動機と目的

• 著作権制限のため、カラーリング済みマンガデータセットの入手が困難であるという課題に対処すること。
• 1キャラクターあたり1枚のカラーリング済み参照画像のみを用いて、正確で高解像度のマンガ色分けを実現すること。
• 後処理によるセグメンテーションと色補正を通じて、cGANによる色分け生成においてアーチファクトとぼかしを低減すること。
• 従来のインタラクティブ手法とは異なり、1枚の画像あたりユーザーの操作を一切不要とする完全自動化されたシステムの開発。
• スクリーントーンあり・なしの両方のマンガ画像に対して手法を検証し、画像タイプにかかわらず堅牢性を示すこと。

提案手法

• 1枚のカラーリング済みマンガキャラクターの参照画像を用いて、モノクロ出力からカラーリング出力へのマッピングを学習する条件付きGAN（cGAN）を訓練する。
• cGANは、入力のモノクロマンガ画像と1枚の参照画像に条件付けられた状態で、初期のカラーリング出力を生成する。
• トラップドボールおよびリージョングローワンドアルゴリズムに基づくセグメンテーションパイプラインが、肌、髪、衣装などの明確な画像領域を特定する。
• 各セグメント化領域に対して色補正が施され、参照画像の色調パレットと整合性を保つ。
• スクリーントーンあり・なしの両方のバージョンを処理し、スクリーントーンなしバージョンでエッジを、スクリーントーンありバージョンで陰影を取得する。
• 最終出力は、エッジのシャープさをスクリーントーンなし画像から、陰影の質感をスクリーントーンありバージョンから組み合わせることで、より現実的な仕上がりを実現する。

実験結果

リサーチクエスチョン

• RQ1 1枚のカラーリング済みマンガ画像を用いてcGANを効果的に訓練でき、同じキャラクターの新しい画像に対して高品質な色分けを達成できるか？
• RQ2 提案されたセグメンテーションおよび色補正パイプラインは、cGANによるマンガ色分け生成において、ぼかしやアーチファクトをどれほど効果的に低減できるか？
• RQ3 未学習の画像に適用した場合、元のキャラクターのパレットに正確な色再現性を維持できるか？
• RQ4 スクリーントーンあり・なしの両方のマンガ画像に対して、本手法はどのように性能を発揮するか？また、両方のバージョンを組み合わせることでより良い結果が得られるか？
• RQ5 同じキャラクターの複数枚の画像に繰り返し色分けを行う場合、本手法はニューラルスタイルトランスファーと比べて速度と品質で優れているか？

主な発見

• 本手法は、1枚のカラーリング済み参照画像のみでcGANを効果的に訓練でき、大規模なデータセットを必要とせずに高解像度かつシャープな色分け出力を達成した。
• 後処理によるセグメンテーションと色補正は、髪や肌の細部におけるぼかしやアーチファクトを顕著に低減した。
• cGANによる生成結果はもともと視覚的に魅力的であったが、本パイプラインを適用することで、さらに明確な輪郭と色の正確性が向上した。
• 特に同じキャラクターの複数枚の画像に色分けを繰り返す状況では、ニューラルスタイルトランスファーよりも本手法が速度と品質の両面で優れた性能を示した。
• ターゲット画像のスクリーントーンあり・なしの両バージョンが利用可能な場合、それらを組み合わせることで、クリアなエッジと適切な陰影を持つより優れた結果が得られた。
• 異なるポーズや角度での同じキャラクターの色分けが一貫して正確に行われたことから、本手法は画像構成の変化に対しても頑健であることが実証された。