[論文レビュー] Fast Universal Style Transfer for Artistic and Photorealistic Rendering

Jie An, Haoyi Xiong+3 more|arXiv (Cornell University)|Jul 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 4

ひとこと要約

本稿では、アートスタイルおよびフォトリアルなレンダリングにおける高速でワンパスのユニバーサルスタイル転送を実現する、マルチレイヤー自己符号化器に基づく2つの新しいニューラルネットワークアーキテクチャ、ArtNet と PhotoNet を提案する。特徴量の集約と正規化されたスキップ接続を、事前に定義されたスタイル転送モジュール（例：WCT、AdaIN）と統合することで、従来手法に比べて3倍から100倍の高速化を達成し、アーティスティックスタイル転送においてもフォトリアルレンダリングにおいても、アーティファクト、歪み、計算コストを顕著に低減しながら、画像の詳細を保持する、最先端のスタイル転送品質を実現した。

ABSTRACT

Universal style transfer is an image editing task that renders an input content image using the visual style of arbitrary reference images, including both artistic and photorealistic stylization. Given a pair of images as the source of content and the reference of style, existing solutions usually first train an auto-encoder (AE) to reconstruct the image using deep features and then embeds pre-defined style transfer modules into the AE reconstruction procedure to transfer the style of the reconstructed image through modifying the deep features. While existing methods typically need multiple rounds of time-consuming AE reconstruction for better stylization, our work intends to design novel neural network architectures on top of AE for fast style transfer with fewer artifacts and distortions all in one pass of end-to-end inference. To this end, we propose two network architectures named ArtNet and PhotoNet to improve artistic and photo-realistic stylization, respectively. Extensive experiments demonstrate that ArtNet generates images with fewer artifacts and distortions against the state-of-the-art artistic transfer algorithms, while PhotoNet improves the photorealistic stylization results by creating sharp images faithfully preserving rich details of the input content. Moreover, ArtNet and PhotoNet can achieve 3X to 100X speed-up over the state-of-the-art algorithms, which is a major advantage for large content images.

研究の動機と目的

• マルチラウンドの再構築と後処理に依存する従来のユニバーサルスタイル転送手法が抱える、高い計算コストと品質の低下（アーティファクト、歪み）を解消すること。
• 反復的精錬や時間のかかる最適化を必要とせず、ワンパス推論による高速でエンドツーエンドのスタイル転送を可能にすること。
• 強化された自己符号化器アーキテクチャを用いて、アーティスティックスタイル転送およびフォトリアルレンダリングの両方において、詳細の保持とシャープネスを向上させ、スタイル転送品質を向上させること。
• WCT、AdaIN、PhotoWCT などの最先端手法に比べ、視覚的品質および推論速度の両面で優れた性能を達成すること。

提案手法

• マルチレベルの特徴量を集約し、マルチステージスタイル転送モジュール（MST）を適用することで、アーティスティックスタイル転送におけるアーティファクトを低減するワンフォワードネットワーク、ArtNet を提案する。
• フォトリアルスタイル転送中に微細なディテールを保持するため、正規化されたスキップ接続を用いる PhotoNet を導入する。これにより、シャープネスと元のコンテンツへの忠実度が向上する。
• 事前学習済みの自己符号化器を用い、再構築能力を向上させることで、スタイル転送の前段階で画像歪みやアーティファクトを最小限に抑える。
• 事前に定義されたスタイル転送モジュール（例：WCT、AdaIN）をデコーダーまたはスキップ接続に直接適用し、反復的再構築ループを回避する。
• 低レベルおよび高レベルの特徴量の間で特徴量の集約を実施することで、スタイル転送中に構造的およびテクスチャ的ディテールをよりよく保持する。
• 推論にワンパスの順伝播のみを用いることで、マルチラウンド手法と比較して計算時間を顕著に短縮する。

実験結果

リサーチクエスチョン

• RQ1 ワンパスでエンドツーエンドに設計されたニューラルネットワークアーキテクチャは、速度と視覚的品質の両面で、マルチラウンドスタイル転送手法を上回ることができるか？
• RQ2 特徴量の集約と正規化されたスキップ接続は、それぞれアーティスティックスタイル転送とフォトリアルスタイル転送において、アーティファクトと歪みを低減できるか？
• RQ3 改善された自己符号化器の再構築能力は、反復的精錬なしにスタイル転送性能を向上させることができる程度はどの程度か？
• RQ4 スタイル転送モジュールをデコーダーの早期段階と後期段階に統合した場合、画像品質およびディテール保持にどのような影響を与えるか？

主な発見

• ArtNet は WCT や AdaIN と比較してアーティファクトと歪みを低減し、ワンパス推論で視覚的に優れたアーティスティックスタイル転送結果を生成する。
• PhotoNet は PhotoWCT よりもシャープで詳細が豊かな画像を生成し、より高い総変動スコア（total variation score）を示しており、微細なディテールの保持が優れている。
• 提案手法は、最先端のアルゴリズムに比べて 3倍から100倍の高速化を達成しており、特に大容量のコンテンツ画像において顕著な恩恵をもたらす。
• 画像再構築誤差は、ArtNet（74,643.66）と PhotoNet（75,021.59）が、WCT（83,196.87）と AdaIN（86,611.57）よりも顕著に低いことが示され、特徴量の忠実度が向上している。
• FID スコアは、PhotoNet が PhotoWCT を上回っており、フォトリアルスタイル転送において、参照スタイル画像との分布的類似性が優れていることを示している。
• アブレーションスタディの結果、特徴量の集約（FA）と正規化されたスキップ接続（NS）が重要な構成要素であることが確認され、MST-∞（すべての段階）が最も優れた視覚的結果をもたらした。