[論文レビュー] TextureGAN: Controlling Deep Image Synthesis with Texture Patches

Wenqi Xian, Patsorn Sangkloy+6 more|arXiv (Cornell University)|Jun 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 25

ひとこと要約

TextureGANは、スケッチされた物体の輪郭にテクスチャパッチをドラッグアンドドロップすることで、リアルタイムでテクスチャ生成を制御できる、新しい深層画像合成フレームワークを導入している。敵対的損失、コンテンツ損失、および新規の局所的テクスチャ損失を組み合わせることで、複雑な形状や複数のテクスチャを含む場合でも、高解像度で現実的で正確なテクスチャ伝搬を実現する画像を合成する。

ABSTRACT

In this paper, we investigate deep image synthesis guided by sketch, color, and texture. Previous image synthesis methods can be controlled by sketch and color strokes but we are the first to examine texture control. We allow a user to place a texture patch on a sketch at arbitrary locations and scales to control the desired output texture. Our generative network learns to synthesize objects consistent with these texture suggestions. To achieve this, we develop a local texture loss in addition to adversarial and content loss to train the generative network. We conduct experiments using sketches generated from real images and textures sampled from a separate texture database and results show that our proposed algorithm is able to generate plausible images that are faithful to user controls. Ablation studies show that our proposed pipeline can generate more realistic images than adapting existing methods directly.

研究の動機と目的

• 非エキスパートが、単純なスケッチとテクスチャパッチの入力のみで、現実的でテクスチャが施された画像を生成できるようにすること。
• 粗いスタイル変換を超えて、細かいテクスチャ制御の欠如に課題を提起する深層画像合成分野における課題を解決すること。
• インタラクティブ編集をサポートし、リアルタイムフィードバックを提供する、フォワードパス型の生成モデルを開発すること。
• 物体の境界、陰影、3次元的な縮小効果を尊重する、頑健なテクスチャ転送を学習すること。
• 新しい局所的テクスチャ損失機構により、訓練データに存在しない未観測のテクスチャへの一般化を向上させること。

提案手法

• 本モデルは、実画像で訓練された条件付きGANアーキテクチャを用い、スケッチとテクスチャパッチから画像を生成する。
• ネットワークが物体領域全体にわたってテクスチャディテールを一貫して伝搬するよう促すために、新規の局所的テクスチャ損失が導入されている。
• ネットワークはLab色空間で動作し、色とコンテンツを分離することで、より良い制御性を実現する。
• 訓練データは、実写写真からスケッチとテクスチャパッチを抽出することで、自動的に合成される。
• 外部のテクスチャファインチューニングに局所的テクスチャ識別器を用いることで、ストライプのような複雑なテクスチャの性能が向上する。
• 1つのスケッチに複数のテクスチャパッチをサポートし、意味的境界と物体の輪郭を尊重した伝搬が可能である。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがスケッチ上に配置したテクスチャパッチを用いて、深層画像合成を効果的に制御できるか？
• RQ2 生成モデルが、多様で高解像度のテクスチャを物体境界を越えて伝搬するには、どのように学習すべきか？
• RQ3 現実的で一貫性のあるテクスチャ合成と伝搬を達成するには、どのような損失関数が必要か？
• RQ4 本モデルは、訓練データに存在しない未観測のテクスチャにも一般化できるか？
• RQ5 提案された局所的テクスチャ損失は、スタイル損失やピクセル損失と比較して、テクスチャ忠実度をどのように維持するか？

主な発見

• TextureGANは、スケッチとテクスチャパッチの入力のみで、高解像度で現実的で正確なテクスチャ制御が可能な画像を効果的に生成した。
• アブレーションスタディの結果、提案された局所的テクスチャ損失が、スタイル損失やピクセル損失のみを用いた場合と比較して、テクスチャ伝搬と一貫性を顕著に向上させたことが確認された。
• 入力パッチに含まれるテクスチャディテールが保持され、物体領域全体に正確に伝搬されており、パッチがスケッチ境界を越えて延びても同様に効果を示した。
• 外部のテクスチャファインチューニングを施したことで、ハンドバッグや衣類におけるストライプのような複雑なテクスチャにおいて、優れた結果が得られた。
• 複数のテクスチャパッチをサポートし、境界の忠実度を維持することができ、物体の輪郭と陰影を尊重した結果を生成した。
• 人間が描いたスケッチを用いた実験では、スケッチの品質にばらつきがあっても、視覚的品質を高い水準で維持するという、強靭性が確認された。