[論文レビュー] DeepHist: Differentiable Joint and Color Histogram Layers for Image-to-Image Translation

Mor Avi-Aharon, Assaf Arbelle+1 more|arXiv (Cornell University)|May 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 16

ひとこと要約

DeepHistは、画像間変換のための微分可能で結合ヒストグラムおよびカラー ヒストグラム レイヤーを導入し、色の分布一致に地球移動距離（EMD）と、構造の保存に相互情報量（MI）を用いたエンド・ツー・エンドの学習を可能にした。この手法は、ペアの実画像を必要とせずに色の再配置、画像の色付け、エッジから写真への変換において、最先端の結果を達成した。色の正確性とコンテンツの一貫性を同時に最適化することで、グレーや茶色に傾きがちなL1損失ベースの手法に比べ、よりリアルで色あざやかな出力を得た。

ABSTRACT

We present the DeepHist - a novel Deep Learning framework for augmenting a network by histogram layers and demonstrate its strength by addressing image-to-image translation problems. Specifically, given an input image and a reference color distribution we aim to generate an output image with the structural appearance (content) of the input (source) yet with the colors of the reference. The key idea is a new technique for a differentiable construction of joint and color histograms of the output images. We further define a color distribution loss based on the Earth Mover's Distance between the output's and the reference's color histograms and a Mutual Information loss based on the joint histograms of the source and the output images. Promising results are shown for the tasks of color transfer, image colorization and edges $ ightarrow$ photo, where the color distribution of the output image is controlled. Comparison to Pix2Pix and CyclyGANs are shown.

研究の動機と目的

• ペアの実画像が入手できない画像間変換タスク（例：色の再配置、画像の色付け）に対処すること。
• ディープラーニング フレームワークにおける従来のヒストグラム計算の非微分性を克服すること。
• ピクセル単位の教師信号が利用できない状況でも、元画像と生成画像間の相互情報量を用いて構造的コンテンツを保存すること。
• L1損失ベースの手法がグレーまたは茶色に傾きがちな出力を生じがちであるのに対し、よりリアルで色あざやかな出力を得るために、色の多様性を向上させること。
• 敵対的学習と互換性を持つヒストグラムに基づく損失を用いて、エンド・ツー・エンドの学習を可能にすること。

提案手法

• 微分可能なヒストグラム レイヤーを導入し、結合ヒストグラムおよびカラー ヒストグラムを微分可能に計算することで、バックプロパゲーションがヒストグラム演算を通過できるようにした。
• 生成画像のカラー ヒストグラムと参照画像のヒストグラムとの間の地球移動距離（EMD）を、色の分布損失として採用した。
• 元画像と生成画像間の相互情報量（MI）を、構造的類似性損失として用い、コンテンツの保存を図った。
• EMD、MI、および敵対的（GAN）損失を統合した訓練目的関数に組み込み、色の正確性、コンテンツの忠実性、リアルさのバランスを取った。
• ヒストグラム レイヤーを生成器ネットワーク内に適用し、バックプロパゲーション中にヒストグラム計算を経由して勾配が流れることを可能にした。
• 特に彩度（U、V）チャンネルの色分布の忠実性を評価するために、YUV色空間分析を用いた。

実験結果

リサーチクエスチョン

• RQ1 微分可能なヒストグラム計算をディープラーニング フレームワークに統合し、画像間変換のエンド・ツー・エンド学習を可能にできるか？
• RQ2 ペアの実画像が存在しない状況でも、地球移動距離（EMD）損失が色の分布再配置を効果的にガイドできるか？
• RQ3 ピクセル単位の教師信号が利用できない状況でも、相互情報量（MI）損失が構造的コンテンツを保存できるか？
• RQ4 EMD、MI、およびGAN損失は、どのように相互作用して画像のリアルさと色の正確性を向上させるか？
• RQ5 提案手法は、Pix2PixのようなL1損失ベースのモデルを上回り、色あざやかでリアルな画像を生成できるか？

主な発見

• 人間評価では、DeepHistモデルが生成画像を「本物」とマークさせる割合が51.9％に達し、強い知覚的リアルさを示した。
• アブレーションスタディの結果、MI損失を除去するとコンテンツの保存性が著しく低下した一方、EMDまたはGAN損失を省略すると色の分布一致が悪化したり、視覚的アーチファクトが生じたりした。
• EMD、MI、GANの3つの損失を併用した場合、生成画像と元画像間のMSEは0.018（±0.010）にまで低下した。一方、MI損失なしでは0.024、EMD損失なしでは0.053に上昇した。
• YUV空間における色分布分析から、DeepHistはPix2Pixに比べて彩度（U、V）チャンネルの分布をよりよく保存していることが分かった。
• 本手法は、グランドトゥースのターゲット画像が不要な未ペア設定（例：色の再配置、エッジから写真への変換）においても、色の再配置を成功裏に実行した。
• EMDとMI損失の組み合わせにより、L1損失ベースの手法に見られるグレーまたは茶色に傾く傾向が顕著に減少した。