[論文レビュー] End-to-End Conditional GAN-based Architectures for Image Colourisation

Marc Górriz, Marta Mrak+2 more|arXiv (Cornell University)|Aug 26, 2019

Image Enhancement Techniques参考文献 27被引用数 5

ひとこと要約

本稿では、U-Netフレームワークにインスタンス・バッチ正規化（IBN）、スペクトル正規化（SN）、マルチスケールディスクライマーを統合することで、訓練安定性と彩度を向上させる、エンドツーエンドの条件付きGANベースの画像色分けアーキテクチャを提案する。本手法はILSVRC 2012で最先端の性能を達成し、彩度の低下を低減し、局所的な色のディテールを強化しながらも、知覚的品質を維持する。

ABSTRACT

In this work recent advances in conditional adversarial networks are investigated to develop an end-to-end architecture based on Convolutional Neural Networks (CNNs) to directly map realistic colours to an input greyscale image. Observing that existing colourisation methods sometimes exhibit a lack of colourfulness, this paper proposes a method to improve colourisation results. In particular, the method uses Generative Adversarial Neural Networks (GANs) and focuses on improvement of training stability to enable better generalisation in large multi-class image datasets. Additionally, the integration of instance and batch normalisation layers in both generator and discriminator is introduced to the popular U-Net architecture, boosting the network capabilities to generalise the style changes of the content. The method has been tested using the ILSVRC 2012 dataset, achieving improved automatic colourisation results compared to other methods based on GANs.

研究の動機と目的

• GANベースの画像色分けにおける持続的な彩度不足の問題に対処し、知覚的リアリズムを向上させること。
• アーキテクチャ的および正規化手法の強化を用いて、エンドツーエンドの色分けに向けた条件付きGANの訓練安定性を向上させること。
• 統一されたエンコーダ・デコーダアーキテクチャにインスタンスおよびバッチ正規化を統合することで、多様な画像クラスへの一般化を向上させること。
• マルチスケールディスクライマーの設計により、局所的な色のディテールと全体の彩度を向上させること。
• スペクトル正規化とIBNの有効性が、敵対的訓練中に彩度の豊かさを保持する上でどのように寄与するかを検証すること。

提案手法

• エンドツーエンドの画像対画像変換を実現するため、残差スキップ接続を備えたU-Netベースのエンコーダ・デコーダアーキテクチャを採用する。
• ジェネレータおよびディスクライマーの両方にインスタンス・バッチ正規化（IBN）を導入し、特徴量の分散を安定化させ、スタイルの一般化を向上させる。
• ディスクライマーにスペクトル正規化（SN）を適用し、重みの更新を正則化し、モード崩壊を防止する。
• 局所的ディテールの生成と小さな画像領域における色の忠実度を向上させるために、マルチスケールディスクライマー（MD）を採用する。
• 敵対的損失、L1回帰損失、およびVGG19特徴量に基づく知覚的損失を組み合わせた損失関数を用いる。
• 事前学習済みVGG19の層からの特徴マップ間のL1距離として、知覚的損失を計算し、ILSVRC 2012データセットを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANによる画像色分けにおける訓練不安定性をどのように軽減し、彩度の低下を防ぐことができるか？
• RQ2 インスタンス正規化とバッチ正規化を組み合わせることで、GANベースの色分けにおける特徴表現と色の一般化がどの程度向上するか？
• RQ3 スペクトル正規化は、色分けタスクにおけるディスクライマーの安定性と性能をどのように向上させるか？
• RQ4 マルチスケールディスクライミングは、局所的な色のディテールと全体の彩度をどのように改善するか？
• RQ5 IBN、SN、MDの統合が、知覚的および定量的色分け指標において顕著な改善をもたらすか？

主な発見

• IBN+SN+MD設定は、ベースラインと比較して、知覚的損失（57.77）を最低に抑え、L1距離（11.20）も改善しており、より優れた知覚的品質と色の豊かさを示している。
• スペクトル正規化により敵対的損失が顕著に安定化し、初期の崩壊を防ぎ、過学習も低減された。これにより彩度が維持された。
• IBN+SNの組み合わせにより、16エポック目以降で敵対的損失に急激な改善が見られ、効果的な安定化と特徴の一般化が確認された。
• マルチスケールディスクライマーは、特に小さな領域や詳細な領域での彩度を向上させた。視覚的比較およびヒストグラム解析により裏付けられた。
• 提案手法は、ベースラインのpix2pix（BN）を上回り、知覚的損失で2.5%の改善を達成し、より良好な彩度分布を示した。
• 色のヒストограмから、提案手法が生成したabチャネルは、実データ分布との重複が少なく、より多様で現実的な色出力を示している。