[論文レビュー] Copy the Old or Paint Anew? An Adversarial Framework for (non-) Parametric Image Stylization

Nikolay Jetchev, Urs Bergmann+1 more|arXiv (Cornell University)|Nov 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 4

ひとこと要約

本稿では、パrametricな深層学習と非パrametricなエクemplarベースのスタイル化を組み合わせることで、小規模なスタイルデータセットを用いて高速かつ高解像度の画像スタイル化を実現する、GANベースの新規フレームワークであるFully Adversarial Mosaics (FAMOS) を提案する。完全畳み込み型のU-Netジェネレータを用いて、学習済みのスタイルパッチメモリからの混合重み、ブレンドマスク、および生成コンテンツを予測することで、FAMOSは高速な推論と複雑なスタイルの正確な再構成を両立し、大規模出力において既存手法を速度と品質の面で上回る。

ABSTRACT

Parametric generative deep models are state-of-the-art for photo and non-photo realistic image stylization. However, learning complicated image representations requires compute-intense models parametrized by a huge number of weights, which in turn requires large datasets to make learning successful. Non-parametric exemplar-based generation is a technique that works well to reproduce style from small datasets, but is also compute-intensive. These aspects are a drawback for the practice of digital AI artists: typically one wants to use a small set of stylization images, and needs a fast flexible model in order to experiment with it. With this motivation, our work has these contributions: (i) a novel stylization method called Fully Adversarial Mosaics (FAMOS) that combines the strengths of both parametric and non-parametric approaches; (ii) multiple ablations and image examples that analyze the method and show its capabilities; (iii) source code that will empower artists and machine learning researchers to use and modify FAMOS.

研究の動機と目的

• パラメトリックおよび非パラメトリックスタイル化手法の限界を克服し、高速な推論と正確なスタイル再現の両方の長所を統合すること。
• アーティスティックな実験に適した、小規模なスタイル画像データセットのみを用いた効率的で高解像度のスタイル化を可能にすること。
• アーティストがコンテンツ生成と直接的なスタイルコピーのバランスを調整できる柔軟でユーザー制御可能なフレームワークを提供すること。
• 任意の出力サイズをサポートし、未観測のコンテンツ画像へも一般化可能なスケーラブルな完全畳み込みアーキテクチャの開発。

提案手法

• FAMOSは、1つのU-Netジェネレータを用いて、混合行列A、生成画像IG、およびコンテンツとスタイルを組み合わせるためのブレンドマスクαを予測する。
• 非パラメトリックなメモリMは、スタイル画像からタイル状に配置され、ランダムにオフセットされたパッチを格納し、推論時に直接スタイルコピーを可能にする。
• ジェネレータは出力を I = α ⊙ IG + (1−α) ⊙ IM として合成する。ここで、IMは混合行列Aを用いてメモリMからコピーされる。
• モデルは、パッチレベルの本物/偽物予測に対する adversarial loss と、特徴マップφを用いた perceptual content reconstruction loss の組み合わせで訓練される。
• クロップ座標ψは、メモリパッチの空間的オフセットをエンコードするために用いられ、コンテンツパッチとメモリパッチの両方で共有されることで一般化性能が向上する。
• 本手法は、ランダムクロッピングによる未観測のコンテンツ画像への一般化と、固定クロッピングによる特定の画像向けの高忠実度モザイクの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、パラメトリックな生成と非パラメトリックなエクEMPLARベースのコピーを効果的に統合し、高速で高品質なスタイル化を達成できるか？
• RQ2 学習済みのスタイルパッチメモリの使用は、純粋なパラメトリックモデルと比較してスタイル化の正確性をどのように向上させるか？
• RQ3 重み共有や座標エンコーディングといったアーキテクチャ的選択は、スタイル化における一般化性能とパフォーマンスをどのように向上させるか？
• RQ4 一般化モードと固定空間アライメントモードの両方で、未観測のコンテンツ画像に対するモデルのパフォーマンスはどのように変化するか？

主な発見

• FAMOSは、最大2000×2400ピクセルの高解像度スタイル化を高速な推論で実現し、リアルタイムでのアーティスティックな実験を可能にする。
• 混合行列とブレンドマスクの両方の予測に共通のU-Netを用いることで、モデルサイズと推論時間を削減しつつ品質に妥協を生じさせない。
• WGAN-GP損失は非パラメトリックメモリを用いる際の訓練安定性を向上させるが、メモリを無効化した場合にはDCGAN損失がより優れた性能を示す。
• メモリパッチをランダムにオフセットすることで、未観測のコンテンツ画像への一般化性能が向上する一方、固定クロッピングは特定の画像に対してより高い忠実度を達成する。
• 入力に空間的ノイズを追加することで訓練が安定化するが、出力はノイズに強く依存しないため、確率的入力に対してもロバストであることが示唆される。
• メモリMを直接ジェネレータの入力として供給すると計算量が増えるだけで品質向上が見られず、非効率である。