[論文レビュー] Preserving Color in Neural Artistic Style Transfer

Leon A. Gatys, Matthias Bethge+2 more|arXiv (Cornell University)|Jun 19, 2016

Aesthetic Perception and Analysis参考文献 4被引用数 128

ひとこと要約

このノートはニューラルスタイル転送に2つの単純な色保存法を追加します：スタイル画像へのカラー ヒストグラム整合と輝度のみのスタイル適用。

ABSTRACT

This note presents an extension to the neural artistic style transfer algorithm (Gatys et al.). The original algorithm transforms an image to have the style of another given image. For example, a photograph can be transformed to have the style of a famous painting. Here we address a potential shortcoming of the original method: the algorithm transfers the colors of the original painting, which can alter the appearance of the scene in undesirable ways. We describe simple linear methods for transferring style while preserving colors.

研究の動機と目的

• ニューラルスタイル転送における望ましくない色の転送を動機づけ、対処する。
• スタイライズ時にコンテンツ画像の色を保存する実用的な方法を提案する。
• 色の正確性とスタイライゼーション忠実度のトレードオフを評価する。

提案手法

• カラー ヒストグラム整合: コンテンツ画像の統計量に合わせてスタイル画像の色を線形カラー変換（Aとb）で平均と共分散を等しくする。
• Aの2つのバリアント: CholeskyベースとImage Analogiesベース、一般にはImage Analogiesが推奨される。
• スタイル転送の前ではなく後で色を転送するオプションがあり、いくつかのケースで結果の改善を指摘。
• 輝度のみの転送: 輝度チャネル（Y）でスタイル転送を行い、コンテンツのカラー チャネルと結合する。必要に応じて先に輝度をヒストグラム整合することも。

実験結果

リサーチクエスチョン

• RQ1 色保存がスタイルテキストのテクスチャを損なうことなく、ニューラルスタイル転送の知覚忠実性を向上させることができるか？
• RQ2 事前転送のカラー整合と輝度のみの転送のうち、多様なスタイル画像に対してどちらの色保存アプローチがより良い視覚的結果を生み出すか？
• RQ3 コンテンツの色を保存することと、スタイル駆動の輝度-テクスチャの関係を維持することのトレードオフは何か？

主な発見

• スタイル画像へカラー ヒストグラム整合を適用するとコンテンツの色を保存できるが、すべての色と完全には一致しないことがある。
• 輝度のみの転送はコンテンツの色を正確に保存するが、輝度と色を切り離してしまい、筆跡の配置に影響を与えることがある。
• 事前転送のカラー整合は、色の制約と共にスタイルのテクスチャをより忠実に再現する傾向がある。
• 輝度のみの転送は最適化の次元を減らすが、輝度と色の依存関係を失う可能性がある。