[論文レビュー] Deep Painterly Harmonization

Fujun Luan, Sylvain Paris+2 more|arXiv (Cornell University)|Apr 9, 2018

Computer Graphics and Visualization Techniques参考文献 14被引用数 13

ひとこと要約

本稿では、VGGニューラルネットワークの特徴量を用いて、ペイントの局所的な色、テクスチャ、構造的統計を貼り付けられた写真要素へと転送する2段階のディーブラーニング手法であるDeep Painterly Harmonizationを提案する。特徴量統計における空間的およびスケール間の一貫性を強制することで、目立たない、芸術的に一貫性のある合成が可能となり、本物の絵画と見分けがつかない結果が得られ、ユーザー研究においても、写真合成およびグローバルスタイル転送技術を上回る性能を発揮する。

ABSTRACT

Copying an element from a photo and pasting it into a painting is a challenging task. Applying photo compositing techniques in this context yields subpar results that look like a collage --- and existing painterly stylization algorithms, which are global, perform poorly when applied locally. We address these issues with a dedicated algorithm that carefully determines the local statistics to be transferred. We ensure both spatial and inter-scale statistical consistency and demonstrate that both aspects are key to generating quality results. To cope with the diversity of abstraction levels and types of paintings, we introduce a technique to adjust the parameters of the transfer depending on the painting. We show that our algorithm produces significantly better results than photo compositing or global stylization techniques and that it enables creative painterly edits that would be otherwise difficult to achieve.

研究の動機と目的

• 目に見えるシームや不自然なアーティファクトがないように、写真要素を絵画に滑らかに合成する課題に対処すること。
• ペインティングの背景に適用された際のグローバルスタイル転送および写真合成技術の限界を克服すること。
• 調和された合成において、局所的なテクスチャとマルチスケール構造の両方を保持する手法を開発すること。
• 貼り付けられた要素が絵画固有の視覚的スタイルと一致するようにすることで、創造的で芸術家のような編集を可能にすること。

提案手法

• 本手法は2段階の最適化フレームワークを用いる：第1段階でグローバル統計を用いて粗い調和を実行し、第2段階で局所的およびマルチスケールの一貫性を用いて結果を精緻化する。
• ペイントと貼り付けられた画像間で、ディープニューラルネットワーク（VGG）活性化の統計を転送することで、色、テクスチャ、構造を一致させる。
• 空間的一貫性は、特徴量転送をガイドするため、ペイント内で小さな一貫性のある領域の集合を選択することで強制される。これにより、孤立したまたはノイズの多い統計を避ける。
• スケール間の一貫性は、VGGネットワークの異なる層間の特徴応答の相関を保持することで維持される。
• ペイントのスタイルに応じて最適な転送パラメータを予測するための別個のニューラルネットワークを学習させ、多様な芸術的スタイルに適応可能にする。
• 本手法は、完全な画像再構築ではなく、知覚的に関連する特徴に焦点を当てた、ディープイメージアナロジーの原則と標的統計転送を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ディーブニューラルネットワークの統計を、局所的なテクスチャと構造を保持したまま、写真要素を絵画に調和させるのに効果的に利用できるか？
• RQ2 特徴量統計における空間的およびスケール間の一貫性を強制することで、孤立した統計やグローバル統計と比較して、合成のリアリズムがどのように向上するか？
• RQ3 手動でのチューニングを必要とせずに、多様な絵画スタイルに一般化できる程度はどの程度か？
• RQ4 提案手法は、ユーザーの認識において、本物の絵画と見分けがつかない合成を生成できるか？
• RQ5 視覚的品質および知覚的リアリズムの観点から、最先端の写真合成およびグローバルスタイル転送技術と比較して、本手法はどのように差をつけるか？

主な発見

• ユーザー研究の結果、本手法が参加者に最も好まれており、結果はしばしば本物の絵画と認識される。
• 本手法は、ポアソンブレンド、マルチスケール調和化[SJMP10]、およびイメージメルティング[DSB*12]よりも、テクスチャおよび色の一貫性を顕著に保持している。
• 結果から、ニューラル特徴量統計における空間的およびスケール間の一貫性が、高品質な調和において極めて重要であることが示された。
• 本アルゴリズムは、強力な抽象的表現、ブラシワーク、非一様なテクスチャを有する多様な絵画スタイルに対しても、効果的に対応している。
• 統計的類似性解析により、他の手法と比較して、オリジナルの絵画のスタイルとより近い一致を示しており、合成結果が元の絵画のスタイルと視覚的に一貫していることが確認された。
• 本手法は、例えば熱気球のような代表的なオブジェクトを多様な絵画に自然に挿入するなど、創造的応用を可能にする。