[論文レビュー] A Closed-form Solution to Photorealistic Image Stylization

Yijun Li, Ming-Yu Liu+3 more|arXiv (Cornell University)|Feb 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 50

ひとこと要約

本論文は、閉形式解を用いた2段階のフォトリアルな画像スタイライゼーションパイプラインを提案する：PhotoWCTスタイライゼーション段階とその後の平滑化段階を組み合わせ、従来手法よりも高速でフォトリアルな結果を実現する。

ABSTRACT

Photorealistic image stylization concerns transferring style of a reference photo to a content photo with the constraint that the stylized photo should remain photorealistic. While several photorealistic image stylization methods exist, they tend to generate spatially inconsistent stylizations with noticeable artifacts. In this paper, we propose a method to address these issues. The proposed method consists of a stylization step and a smoothing step. While the stylization step transfers the style of the reference photo to the content photo, the smoothing step ensures spatially consistent stylizations. Each of the steps has a closed-form solution and can be computed efficiently. We conduct extensive experimental validations. The results show that the proposed method generates photorealistic stylization outputs that are more preferred by human subjects as compared to those by the competing methods while running much faster. Source code and additional results are available at https://github.com/NVIDIA/FastPhotoStyle .

研究の動機と目的

• コンテンツとリアリズムを保つフォトリアリスティックな画像スタイライゼーションを動機づける。
• 従来のスタイライゼーション手法における空間アーティファクトや一貫性のなさに対処する。
• 効率性のための閉形式解を用いた2段階パイプラインを提案する。
• ピクセル親和性に基づく平滑化ステップによって知覚的リアリズムを向上させる。

提案手法

• コンテンツとスタイル特徴に適合させるホワイトニングとカラー変換を適用するネットワーク設計に基づくスタイライゼーション段階（PhotoWCT）。
• 解読（デコーダ）でアンプーリングを使用して空間情報を保持し、アーティファクトを低減する。
• グラフベースの親和性(W)と正規化ラプラシアン(S)を用いて局所的一貫性を強制する閉形式解を用いた平滑化ステップを適用する。
• 平滑化最適化を閉形式で解く: R* = (1 - α)(I - αS)^{-1}Y with α = 1/(1+λ).
• VGG-19層全体と任意のセマンティックラベルを活用して、領域ごとのスタイル転送を改善する。

実験結果

リサーチクエスチョン

• RQ1 スタイライゼーションを空間平滑化から分離した2段階アプローチで、フォトリアリスティックなスタイライゼーションを実現できるか。
• RQ2 閉形式平滑化ステップは、スタイライゼーション品質を損なうことなくアーティファクトを削減し、リアリズムを向上させるか。
• RQ3 PhotoWCTとWCT、そして親和性の選択といった設計選択が出力品質と速度にどのように影響するか。
• RQ4 厳密な平滑化と高速近似の知覚品質におけるトレードオフは何か。

主な発見

• 提案手法は、ユーザースタディで競合手法よりも人間の被験者に好まれるスタイライズ画像を生成する。
• PhotoWCTは、空間的ディテールを保持することで標準のWCTよりも構造的アーティファクトを低減する。
• The smoothing step using a MattingAffinity or Graph-based affinity achieves better regional consistency than Gaussian affinities.
• The closed-form smoothing enables fast computation, significantly faster than optimization-based baselines (e.g., Luan et al.).
• An approximate fast version (guided image filtering) greatly speeds up processing with a modest loss in preference scores.
• Qualitative results show better photorealism and fewer artifacts across diverse content/style pairs.