[論文レビュー] Pixel-level Semantics Guided Image Colorization

Jiaojiao Zhao, Li Liu+3 more|arXiv (Cornell University)|Aug 5, 2018

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、階層的ディープニューラルネットワークを用いて、セマンティックセグメンテーションとカラーリゼーションの損失を同時に最適化するピクセルレベルのセマンティクスガイドド画像カラーリゼーション手法を提案する。この手法により、コンテキストの誤解とエッジの色の漏れが顕著に軽減される。詳細なオブジェクトセマンティクスを統合し、ジョイントバイラテラルアップサンプリング層を採用することで、最先端の手法よりも現実的で詳細かつ自然なカラーリゼーション画像が得られる。

ABSTRACT

While many image colorization algorithms have recently shown the capability of producing plausible color versions from gray-scale photographs, they still suffer from the problems of context confusion and edge color bleeding. To address context confusion, we propose to incorporate the pixel-level object semantics to guide the image colorization. The rationale is that human beings perceive and distinguish colors based on the object's semantic categories. We propose a hierarchical neural network with two branches. One branch learns what the object is while the other branch learns the object's colors. The network jointly optimizes a semantic segmentation loss and a colorization loss. To attack edge color bleeding we generate more continuous color maps with sharp edges by adopting a joint bilateral upsamping layer at inference. Our network is trained on PASCAL VOC2012 and COCO-stuff with semantic segmentation labels and it produces more realistic and finer results compared to the colorization state-of-the-art.

研究の動機と目的

• ピクセルレベルのオブジェクトセマンティクスを活用することで、自動画像カラーリゼーションにおけるコンテキストの誤解を軽減すること。
• ディープラーニングベースのカラーリゼーションにおける推論時のスケール変動に起因するエッジの色の漏れを軽減すること。
• セマンティックセグメンテーションから得られるトランスレーション不変表現をカラーリゼーションプロセスに統合することで、カラーリゼーションのリアルリズムを向上させること。
• セグメンテーションとカラーリゼーションの目的関数を統合的に最適化することで、ベンチマークデータセット上で優れたパフォーマンスを達成すること。
• 従来の手法と比較して、より自然で彩度が高くエッジを保持したカラーリゼーション画像を生成すること。

提案手法

• 2本のブランチを持つ階層的ニューラルネットワークを設計：1本のブランチはピクセルレベルのセマンティックセグメンテーションを実行し、もう1本のブランチは各ピクセルの色分布を予測する。
• 2つの損失関数（セマンティックセグメンテーション損失とカラーリゼーション損失）を用いて、エンドツーエンドの最適化が可能なようにネットワークを同時に学習させる。
• 推論段階でジョイントバイラテラルアップサンプリング層を導入し、滑らかでシャープな色マップを生成するとともにエッジの詳細を保持する。
• 豊富なセマンティックアノテーションを備えたPASCAL VOC2012およびCOCO-Stuffで事前学習することで、オブジェクト固有の色の事前知識を学習する。
• 深層畳み込み特徴とデコンボリューション層を活用し、高解像度のカラーリング出力を回復する。
• ピクセルレベルのラベルからのセマンティック監視により、モデルのオブジェクトカテゴリの区別能力と意味的に妥当な色の割り当て能力が向上する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルのセマンティクス理解は、画像カラーリゼーションにおけるコンテキストの誤解を軽減できるか？
• RQ2 ディープラーニングベースのカラーリゼーションにおいて、入力スケールの変動に起因するエッジの色の漏れは、どのように最小化できるか？
• RQ3 セマンティックセグメンテーションとカラーリゼーションの統合的最適化は、生成されたカラーリング画像のリアルリズムと詳細性を向上させられるか？
• RQ4 細粒度のセマンティック事前知識を統合することで、画像レベルまたはグローバルなセマンティック事前知識に比べて、どの程度性能が向上するか？
• RQ5 提案されたジョイントバイラテラルアップサンプリング層は、標準的なトランスポジット畳み込みによるアップサンプリングと比較して、色境界の保持にどの程度優れているか？

主な発見

• 提案手法は、PASCAL VOC2012とCOCO-Stuffの統合データセットにおいて、自然さスコア94.89%を達成し、最先端の手法を顕著に上回った。
• 彩度スコア95.70%は、生成された色が競合手法よりも鮮やかで視覚的に魅力的であることを示している。
• セマンティック的正確性が94.10%に達したことで、モデルがオブジェクトカテゴリに整合した色を割り当てており、意味的誤解が軽減されていることが確認された。
• エッジ保持性能が94.80%に達したことで、ジョイントバイラテラルアップサンプリング層がシャープな色の遷移を保持する有効性が裏付けられた。
• 人間による評価では、本手法が真値画像に比べてリアルリズム、色の彩度、構造的整合性の面で優れていた。
• 失敗事例から、レアなオブジェクトカテゴリ（例：インコ、装飾品）や小さなオブジェクトの誤認識の限界が明らかになった。これにより、より細分化されたセマンティックセグメンテーションクラスの導入が求められる。