[論文レビュー] Comicolorization: Semi-Automatic Manga Colorization

Chie Furusawa, Kazuyuki Hiroshiba+2 more|arXiv (Cornell University)|Jun 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 15

ひとこと要約

本稿では、参照画像を用いて色の特徴を抽出し、深層ニューラルネットワークを色の付与のガイドとして用いることで、一貫性のある色の付与が可能な半自動のマンガ色付けシステム「Comicolorization」を提案する。敵対的損失とインタラクティブな修正を活用することで、パネル間で一貫性があり鮮やかな色付けを実現し、完全自動手法に内在する色の曖昧さの問題を解決する。

ABSTRACT

We developed "Comicolorization", a semi-automatic colorization system for manga images. Given a monochrome manga and reference images as inputs, our system generates a plausible color version of the manga. This is the first work to address the colorization of an entire manga title (a set of manga pages). Our method colorizes a whole page (not a single panel) semi-automatically, with the same color for the same character across multiple panels. To colorize the target character by the color from the reference image, we extract a color feature from the reference and feed it to the colorization network to help the colorization. Our approach employs adversarial loss to encourage the effect of the color features. Optionally, our tool allows users to revise the colorization result interactively. By feeding the color features to our deep colorization network, we accomplish colorization of the entire manga using the desired colors for each panel.

研究の動機と目的

• 視覚的変化があるにもかかわらず、同じキャラクターが複数のパネルで異なる色に色付けられる問題に対処する。
• 類似した外見のキャラクター、または一貫性のない特徴が原因で誤ったまたは一貫性のない色割り当てが生じる、自動色付けにおける「色の曖昧さ問題」を克服する。
• 参照画像を用いた半自動処理により、手作業の負荷を軽減することで、複数ページにわたるマンガタイトル全体の効率的かつスケーラブルな色付けを実現する。
• 色のドットやヒストグラム調整などの最小限の入力で、ユーザーが結果を修正できるインタラクティブな修正ツールを提供する。
• 参照画像から抽出した色の特徴をガイドとして用いることで、複数のパネルにわたる一貫性ある色の適用を保証する。

提案手法

• イシイら（2009）の手法に基づく二値化と処理を用い、マンガページのパネルを自動的にセグメンテーションする。
• ヒストグラムベースのパレット表現を用いて、参照画像から色の特徴を抽出し、キャラクターのターゲット色分布を定義する。
• 敵対的損失を用いた深層畳み込みニューラルネットワークを訓練し、参照色の特徴をガイドとして、リアルで高品質な色付け出力を生成する。
• 複数のキャラクターが存在する場合にヒストグラムブレンドを適用し、複数の参照画像からの色特徴を統合することで、複雑なパネルにおける色付けの正確性を向上させる。
• 色のドットやヒストグラム操作によるインタラクティブな修正をサポートし、ユーザーが最小限の入力で色付けを修正・改善できるようにする。
• 元のモノクロ画像からのテキストやラインアートをリサイズ・オーバーレイすることで、レイアウトと見やすさを保ったまま、最終的な色付けマンガページを再構築する。

実験結果

リサーチクエスチョン

• RQ1 視覚的変化があるにもかかわらず、同じキャラクターが複数のパネルで一貫して色付けられるようにするにはどうすればよいか？
• RQ2 パネルごとの手動アノテーションなしで、参照画像が深層学習モデルをどれだけ効果的にガイドできるか、その範囲はどの程度か？
• RQ3 敵対的訓練は、ベースライン手法と比較して、自動色付けされたマンガのリアルさと視覚的品質を向上させるか？
• RQ4 色の特徴とインタラクティブな色のドットの組み合わせは、色の正確性を維持しながらユーザー作業負荷をどれほど低減できるか？
• RQ5 複数の参照画像のヒストグラムブレンドは、複数のキャラクターがいるパネルにおいて、矛盾する色の手がかりによる誤色付けを減らすために効果的か？

主な発見

• 提案手法は、完全自動手法で一般的に見られる「薄い色」や「一貫性のない色」の問題を回避し、全ページにわたって一貫性があり鮮やかな色付けを実現した。
• 参照画像を色の特徴のソースとして用いることで、同じキャラクターが複数のパネルにわたって同一の色で色付けられるようになり、核心的な色の曖昧さ問題を解決した。
• 敵対的損失の統合により、ベースラインモデルと比較して生成された色付け画像のリアルさと視覚的品質が顕著に向上した。
• 色のドットとヒストグラム調整によるインタラクティブな修正により、ユーザーは最小限の入力でわずかな不一致を是正でき、使いやすさが向上した。
• 複数の参照画像のヒストグラムブレンドにより、複数のキャラクターがいる複雑なパネルにおける性能が向上し、単一参照アプローチと比較して誤色付けが減少した。
• 本システムは、多様なマンガスタイルやキャラクター設計をカバーする、全109ページの Manga 109 データセットにおいても高品質な結果を達成し、スケーラビリティと頑健性を示した。