[論文レビュー] Deep Photo Style Transfer

Fujun Luan, Sylvain Paris+2 more|arXiv (Cornell University)|Mar 22, 2017

Image Enhancement Techniques参考文献 16被引用数 94

ひとこと要約

ディープラーニングによる写真のようなスタイル転写で、参照画像のスタイルを転写しつつ内容を保持する。局所的なカラーアフィン制約とセマンティックセグメンテーションを利用。塗り絵のような歪みを避け、さまざまなシナリオで写真品質を実現。

ABSTRACT

This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon the recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom fully differentiable energy term. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.

研究の動機と目的

• 多様な内容に対する写真のようなスタイル転写に取り組む。
• 強い局所カラー変化を可能にしつつ空間歪みを防ぐ。
• セマンティック認識を用いたスタイル転写でcontent-mismatchを緩和する。
• ニューラルスタイル損失と写真実在性正則化を組み合わせる。
• 時刻・天候・季節の変化や編集など広範な適用性を示す。

提案手法

• Matting Laplacianを介して局所的なアフィンカラー変換を課す写真実在性正則化を用いたNeural Styleの拡張。
• セマンティックセグメンテーションを組み込んだ拡張スタイル損失を導入し、内容の跳躍を回避。
• 内容損失、拡張スタイル損失、写真実在性正則化を単一の最適化目的に統合。
• 事前学習済みのVGG-19特徴を用いて内容項とスタイル項を定義し、層選択を行う（contentはconv4_2、styleはconv1_1, conv2_1, conv3_1, conv4_1, conv5_1）。
• Neural Style出力から初期化する2段階の最適化を提供し、写真実在性項のためにCUDA加速勾配を用いる。
• DilatedNetによるセマンティックセグメンテーションマスクを用いて、スタイル転写をセマンティックに対応する領域に制約する。

実験結果

リサーチクエスチョン

• RQ1 写真のような画像スタイル転写は、幾何学的構造を保持しつつ参照スタイルを転写できるか。
• RQ2 Matting Laplacianを用いて局所的にカラー変換を制約することは、ニューラルスタイル転写に典型的な歪みを防ぐか？
• RQ3 スタイル転写中にセマンティックラベリングは内容の不一致やスピルオーバーをどう減らせるか？
• RQ4 シーンを横断してスタイル忠実度と写真実在性のバランスを取る実用的なパラメータ設定は何か？
• RQ5 時刻・天候・季節変化や芸術的な編集などの適用例でこの手法は有効か？

主な発見

• 本手法は絵画風の歪みを抑制しつつスタイルを忠実に転写する。
• セマンティックマスクを用いた拡張スタイル損失はセマンティックなスピルオーバーを防ぎ、現実味を向上させる。
• Matting Laplacianを用いる写真実在性正則化は局所的アフィンカラー変換を強制し（λはおおよそ10^4付近で良い結果）、
• 2段階の最適化（Neural Style初期化と写真実在性正則化による改良）が、直接最適化よりも良い結果を生む。
• Neural StyleおよびCNNMRFと比較して、提案手法は歪みを減らし、セマンティックに一貫した方法でテクスチャを保持する。
• ユーザ研究は本手法が写真実在性とスタイル忠実性を達成することを示し、約80％以上の参加者が一部のグローバル手法に対して参照スタイルに最も忠実と評価した。
• 1枚あたりNVIDIA Titan X GPUで3–5分で結果を得られる。