[論文レビュー] From A to Z: Supervised Transfer of Style and Content Using Deep Neural Network Generators

Paul Upchurch, Noah Snavely+1 more|arXiv (Cornell University)|Mar 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 31

ひとこと要約

本論文は、敵対的訓練と構造的類似性最適化を組み合わせた教師あり変分オートエンコーダを提案し、1枚の入力画像からスタイライズド画像アナロジーを生成する。潜在分布の外挿を用いてスタイリング要因とコンテンツ要因を分離することで、62クラスのフォント生成タスクにおいて、最先端手法と比較して22.4%低い不一致度を達成した。

ABSTRACT

We propose a new neural network architecture for solving single-image analogies - the generation of an entire set of stylistically similar images from just a single input image. Solving this problem requires separating image style from content. Our network is a modified variational autoencoder (VAE) that supports supervised training of single-image analogies and in-network evaluation of outputs with a structured similarity objective that captures pixel covariances. On the challenging task of generating a 62-letter font from a single example letter we produce images with 22.4% lower dissimilarity to the ground truth than state-of-the-art.

研究の動機と目的

• 1枚の画像しか与えられていない状況で、内容が異なるがスタイリッシュに一貫性のある画像の集合を生成する、単一画像アナロジーの課題に対処すること。
• 従来の教師なしまたは最適化されていない手法が、スタイリングの明示的保持やアナロジー品質の評価を欠いているという限界を克服すること。
• 画像品質と構造的類似性に対する直接最適化を可能にする手法を開発し、多様なコンテンツクラスにわたる高精細なスタイリング転送を実現すること。
• 文字と数字を含む62クラス（合計1,839フォント）の大型で挑戦的なデータセットを用いて、微細なスタイリングのばらつきを捉えること。
• スタイリングとコンテンツの分離表現を学習することで、フォントにとどまらず、顔の表情、フィルター、テクスチャ転送など、他の分野への一般化を可能にすること。

提案手法

• スタイリングとコンテンツの分離をモデル化するため、潜在分布の外挿層を備えた変更された変分オートエンコーダ（VAE）を提案する。
• 2つの敵対的ネットワークを導入する：潜在空間におけるクラス不変性を強制するクラス識別器と、画像の現実性を向上させるインポスター識別器。
• ピクセル単位の共分散を捉える構造的類似性（SSIM）目的関数を最適化することで、知覚的品質を向上させる。
• スタイリングが一貫しておりコンテンツが変化する画像の集合（スタイルセット）を教師ありで学習させることで、スタイリング転送の直接的最適化を可能にする。
• 潜在空間の正則化のための事前分布損失を用いるが、モデルは事前分布への一致よりもテストセットの性能を優先する。
• 再構築損失、敵対的損失、およびSSIMに基づく知覚的損失を組み合わせたマルチ損失目的関数を採用し、画像の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スタイリングとコンテンツを分離することで、深層ニューラルネットワークアーキテクチャが1枚の入力画像から高品質な画像アナロジーを生成できるか？
• RQ2 一貫したスタイルセットに教師ありで学習させることで、教師なしまたは自己教師あり手法と比較して、生成アナロジーの忠実度と一貫性が向上するか？
• RQ3 構造的類似性（SSIM）の最適化が、標準的な再構築損失と比較して、知覚的品質をどの程度向上させるか？
• RQ4 特にクラス識別器とインポスター識別器を用いた敵対的訓練は、スタイリングとコンテンツ要因の分離および一般化にどのような影響を与えるか？
• RQ5 性能は、スタイルセット内の入力画像の選択にどれほど敏感か。入力選択を活用することで結果を改善できるか？

主な発見

• 提案手法は、62クラスのフォント生成ベンチマークにおいて、最先端手法と比較して22.4%低い不一致度を達成した。
• クラス識別器とインポスター識別器の両方を追加することで、非敵対的ベースラインと比較してテストセットで不一致度が2.75%低下した。
• 最も優れたモデル（Ours-Adv）は、事前分布損失に制約を加えた場合でもM2と比較して12.8%低い不一致度を示し、一般化性能の向上を示した。
• 入力画像の選択が性能に顕著な影響を与える：バリデーションセットでは、最悪の入力（'f'）は最良の入力（'H'）と比較して12.4%高い不一致度を示した。
• 視覚的比較では、本手法が、斜めのストロークやブラックレターの詳細といったスタイライズド特徴を、先行研究と比較してよりよく保持していることが示された。
• 改善は見られたが、極めてスタイリッシュまたは細いストロークのフォントでは、モデルがぼやけたまたは歪んだグリフを生成する場合がある。