[論文レビュー] Separating Style and Content for Generalized Style Transfer

Yexun Zhang, Ya Zhang+2 more|arXiv (Cornell University)|Nov 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 18

ひとこと要約

本稿では、スタイルエンコーダ、コンテンツエンコーダ、バイリニアミキサー、デコーダを用いてスタイルとコンテンツの表現を分離する一般化されたスタイル変換ネットワーク（EMD）を提案する。条件付き依存関係とトリプレット損失を用いたエンドツーエンドの訓練により、10枚の参照画像のみで未学習のスタイルやコンテンツに一般化できるように学習された分離特徴を獲得することで、中国文字のフォント変換において再訓練ベースの手法を上回る性能を発揮する。

ABSTRACT

Neural style transfer has drawn broad attention in recent years. However, most existing methods aim to explicitly model the transformation between different styles, and the learned model is thus not generalizable to new styles. We here attempt to separate the representations for styles and contents, and propose a generalized style transfer network consisting of style encoder, content encoder, mixer and decoder. The style encoder and content encoder are used to extract the style and content factors from the style reference images and content reference images, respectively. The mixer employs a bilinear model to integrate the above two factors and finally feeds it into a decoder to generate images with target style and content. To separate the style features and content features, we leverage the conditional dependence of styles and contents given an image. During training, the encoder network learns to extract styles and contents from two sets of reference images in limited size, one with shared style and the other with shared content. This learning framework allows simultaneous style transfer among multiple styles and can be deemed as a special `multi-task' learning scenario. The encoders are expected to capture the underlying features for different styles and contents which is generalizable to new styles and contents. For validation, we applied the proposed algorithm to the Chinese Typeface transfer problem. Extensive experiment results on character generation have demonstrated the effectiveness and robustness of our method.

研究の動機と目的

• 既存のスタイル変換手法が、各新しいスタイル-コンテンツペアに対して再訓練を必要としているという制限を解消すること。
• 再訓練なしに未学習のスタイルやコンテンツに一般化できるように、分離されたスタイルとコンテンツ表現を学習すること。
• 共通の特徴エンコーダーを用いて、複数のスタイルとコンテンツを同時に処理できる統合フレームワークを構築すること。
• 中国フォント変換という挑戦的タスクにおいて、スタイルの違いが微細でデータ効率の良い学習が不可欠であるという点を検証すること。

提案手法

• モデルは、画像を条件としてスタイルとコンテンツの間の条件付き依存関係を活用し、参照画像から分離された特徴をスタイルエンコーダおよびコンテンツエンコーダが抽出する。
• バイリニアミキサーは抽出されたスタイルおよびコンテンツ表現を組み合わせ、画像合成用の統合特徴マップを生成する。
• デコーダは、前向き伝搬ネットワークを用いて混合表現から最終的な画像を生成する。
• 訓練はエンドツーエンドで、画像再構成に重み付きL1損失を用い、(スタイル参照セット、コンテンツ参照セット、ターゲット画像)のトリプレットを用いる。
• フレームワークは、各トリプレットが一意のスタイル-コンテンツペアを表すマルチタスク学習のシナリオとして訓練される。
• 学習済みエンコーダーとミキサーを用いて、再訓練なしに新しい参照セットに対して新しいスタイルに一般化できる。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに未学習のスタイルやコンテンツに一般化できるスタイル変換モデルは構築可能か？
• RQ2 わずか数枚の参照画像からのみ、分離されたスタイルとコンテンツ表現をどれほどうまく学習できるか？
• RQ3 共有特徴表現を学習することで、各スタイル-変換ペアごとに再訓練する手法よりも性能が向上するか？
• RQ4 中国文字のフォント変換のような微細なスタイル変換タスクにおいて、モデルの性能はいかがなものか？

主な発見

• EMDモデルは、10個のランダムに抽出されたスタイルにおいて、平均的にL1損失、RMSE、PDARが最小であり、すべてのベースラインを上回った。
• 1スタイルあたり10枚の参照画像のみで、zi-to-zi-300を上回り、zi-to-zi-1299に近い性能を発揮し、優れた少データ一般化性能を示した。
• pix2pix、AEGN、CycleGANなどのベースライン手法は、10枚の画像でファインチューニングしても性能が低く、満足できる結果を得るには数百度の画像を必要とした。
• 再訓練ベースの手法とは異なり、学習中に見られなかった新しいスタイルに対しても、モデルは効果的に一般化できた。
• 共有エンコーダーとバイリニアミキシングの使用により、最小限のデータで多様なスタイル-コンテンツ組み合わせに対して堅牢な性能を発揮した。