[論文レビュー] Incorporating long-range consistency in CNN-based texture generation

G. Berger, Roland Memisevic|arXiv (Cornell University)|Jun 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 24

ひとこと要約

本論文は、Gatysらのニューラルスタイル転送手法に、特徴マップ変換を用いた長距離空間的一致性を組み込むことで改良を提案し、グローバル構造や対称性を有するテクスチャの生成を可能にするとともに、補完およびシーズン転送における性能を向上させている。本手法は、グラミアン行列における変換済み特徴マップを用いて空間的位置間の一貫性を強制することで、生成画像の視覚的整合性を顕著に向上させている。

ABSTRACT

Gatys et al. (2015) showed that pair-wise products of features in a convolutional network are a very effective representation of image textures. We propose a simple modification to that representation which makes it possible to incorporate long-range structure into image generation, and to render images that satisfy various symmetry constraints. We show how this can greatly improve rendering of regular textures and of images that contain other kinds of symmetric structure. We also present applications to inpainting and season transfer.

研究の動機と目的

• 従来のCNNベースのテクスチャ生成手法が長距離空間相関およびグローバル構造を捉えることのできない制限を解消すること。
• 従来のグラミアンベース手法が生成できない、規則的で対称的かつ構造的なテクスチャの生成を可能にすること。
• 欠損領域と周囲のコンテンツとの間に一貫性を強制することで、補完やシーズン転送といった応用分野へのテクスチャ生成を拡張すること。
• 生の特徴ではなく変換済み特徴に作用する、シンプルでありながら効果的なグラミアン損失の修正を提案すること。

提案手法

• 特徴マップに空間的変換（例：平行移動、反転）を施した後に相関を計算する、修正されたグラミアン損失を導入する。
• グラミアン行列計算に変換済み特徴マップを用いる：$ G^{l}_{ij} = \langle F^{l}_{i:}, T(F^{l}_{j:}) \rangle $、ここで $ T $ は平行移動や反射などの空間的変換を表す。
• 長距離構造や対称性を保持するために、標準的なスタイル損失に加えて、変換に基づく損失を適用する。
• 標準グラミアン損失と変換特徴一貫性損失の両方を含む組み合わせ損失を最小化するように、生成画像を最適化する。
• マスクされたコンテンツから初期化し、画像境界に $ L_2 $ ペナルティを追加することで、補完に本手法を適用する。
• 季節的特徴を持つ参照画像を用い、画像全体にわたり構造的一致性を強制することで、本手法をシーズン転送に拡張する。

実験結果

リサーチクエスチョン

• RQ1 グラミアン損失に対する単純な修正を用いて、CNNベースのテクスチャ生成に長距離空間的一致性を効果的に組み込むことができるか？
• RQ2 提案手法は、ベースラインスタイル転送よりも、レンガ壁などの規則的テクスチャや対称パターンをより忠実に生成できるか？
• RQ3 空間的位置間での特徴レベルの一貫性を強制することで、画像補完タスクの性能が向上するか？
• RQ4 反射や並進対称性といった他の種類の構造的制約にも一般化可能か？

主な発見

• 提案手法は、一貫した整列と間隔を有するレンガ壁のような規則的テクスチャを効果的に生成できており、ベースライン手法では達成できない。
• 欠損領域と周囲のコンテンツとの間のグローバル構造と連続性を保持することで、補完結果が顕著に向上している。
• シーズン転送において、空の色や葉の分布といったグローバル特徴をよりよく保持しており、視覚的整合性においてベースラインスタイル転送を上回っている。
• 構造的でないテクスチャに対しても、多様性や品質を損なわずに視覚的品質を維持または向上させている。
• 反転した特徴マップによる対称性制約の追加により、抽象的で対称的なパターンの生成において、対称的構造が効果的に強制されている。
• ベースラインスタイル転送よりも優れた構造的忠実度を達成している一方で、計算効率が高く、既存の最適化フレームワークと互換性を保っている。