[論文レビュー] Coloring with Words: Guiding Image Colorization Through Text-based Palette Generation

Hyojin Bahng, Seungjoo Yoo+5 more|arXiv (Cornell University)|Apr 11, 2018

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、テキスト入力（例：語句や文）から複数の多様で意味的に整合したカラーパレットを生成し、それを用いて高品質な画像の色付けをガイドする条件付きGANフレームワーク「Text2Colors」を提案する。人間の好みの調査において、生成されたパレットが正解パレットを上回り、56.2%の被験者が生成パレットを実際のパレットよりも好んだ。これは、意味的な整合性とマルチモーダルな色の生成が効果的に行われていることを示している。

ABSTRACT

This paper proposes a novel approach to generate multiple color palettes that reflect the semantics of input text and then colorize a given grayscale image according to the generated color palette. In contrast to existing approaches, our model can understand rich text, whether it is a single word, a phrase, or a sentence, and generate multiple possible palettes from it. For this task, we introduce our manually curated dataset called Palette-and-Text (PAT). Our proposed model called Text2Colors consists of two conditional generative adversarial networks: the text-to-palette generation networks and the palette-based colorization networks. The former captures the semantics of the text input and produce relevant color palettes. The latter colorizes a grayscale image using the generated color palette. Our evaluation results show that people preferred our generated palettes over ground truth palettes and that our model can effectively reflect the given palette when colorizing an image.

研究の動機と目的

• 語句や文などの豊富なテキスト入力から、単一語や固定データセットに制限されない複数の意味的に関連するカラーパレットを機械が生成できるようにすること。
• 色の知覚のマルチモーダル性に対処するため、1つのテキスト入力から複数のパレットを生成し、人間が意味的概念に対して持つ異なる解釈を反映すること。
• テキストからパレットを生成するプロセスと、パレットを用いた画像の色付けを統合した統一フレームワークを構築し、パレットから画像への色の忠実な伝達を保証すること。
• トレーニングと評価を支援するため、10,183組の人の手によるテキスト-パレットペアを含む、新しいベンチマークデータセット「Palette-and-Text (PAT)」を構築すること。

提案手法

• モデルは2つの条件付きGANを用いる：テキスト埋め込みを複数の多様なカラーパレットにマッピングするテキストからパレットを生成する生成器（TPN）、生成されたパレットを用いてグレースケール画像を色付けするパレットベースの色付けネットワーク（PCN）。
• TPNは、同じテキスト入力から多様なパレットを生成できるように、条件付きオーグメンテーションを採用し、色の意味的多様性を捉える。
• PCNは、U-Netアーキテクチャのスキップ接続層に生成されたパレットを統合することで、色の正確な伝達と色付けにおける意味的整合性を実現する。
• 両ネットワークに条件付き adversarial loss を適用し、生成されたパレットと色付けられた画像が入力テキストと整合し、知覚的な品質を維持することを保証する。
• モデルは、10,183組のマルチワードのテキストとマルチカラーのパレットを含む、手作業でキュレートされた Palette-and-Text (PAT) データセット上でエンドツーエンドに訓練される。
• 人間による評価を用いて、パレットの品質と色付けのパフォーマンスを検証し、生成出力と正解、ベースラインモデルをユーザーが比較する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、語句や文といった豊富なテキスト入力から、単一語ではなく複数の多様で意味的に関連するカラーパレットを生成できるか？
• RQ2 生成されたカラーパレットが、特に人の手でキュレートされた正解パレットと比較して、入力テキストの意味的意味とどの程度整合しているか？
• RQ3 パレットガイドド色付けネットワークは、最終的な画像出力において生成されたパレットの色と意味をどの程度忠実に反映できるか？
• RQ4 モデルは、写真やパターンを含む多様な画像タイプに一般化可能であり、色付けにおける意味的整合性を維持できるか？
• RQ5 5色のパレットのみを用いた場合、提案モデルのパフォーマンスは、最先端の色付けベースラインと比較してどの程度か？

主な発見

• テキストからパレットを生成する生成器（TPN）は、ユーザーの好みの調査で56.2%のだまし成功率を達成し、被験者が生成パレットを正解パレットよりも好む割合が半数を超えていることを示している。
• パレットベースの色付けネットワーク（PCN）は、313のabギャンブルのビンではなく、パレットから5色のみを用いても、最先端のベースラインモデルを上回る高品質な色付けを実現した。
• 人間による評価では、PCNがパレットの多様な色を画像に効果的に適用しており、パレット活用度と視覚的品質に関する5段階リッカートスケールの全項目で高いスコアを得た。
• モデルは強力なマルチモーダル生成を示し、同じテキスト入力から複数の妥当なパレットを生成し、人間の色の知覚における本質的な曖昧性を反映していた。
• 10,183組のキュレート済みテキスト-パレットペアを含む、提案された Palette-and-Text (PAT) データセットは、テキストに従った色の生成のトレーニングと評価を可能にし、将来の意味的色の推薦分野の研究を支援する。