[論文レビュー] Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks

Koichi Hamada, Kentaro Tachibana+3 more|arXiv (Cornell University)|Sep 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 8

ひとこと要約

本稿では、訓練中にマルチスケールのポーズキーポintsマップを段階的に条件付けすることで、高解像度（1024×1024）の全身アニメキャラクターを正確なポーズ制御で生成するプログレッシブ構造条件付きGAN（PSGAN）を提案する。従来のGANと比較して優れた構造的一致性と画像品質を達成し、潜在変数とポーズシーケンスから制御可能で高精細なアニメーション生成を可能にする。

ABSTRACT

We propose Progressive Structure-conditional Generative Adversarial Networks (PSGAN), a new framework that can generate full-body and high-resolution character images based on structural information. Recent progress in generative adversarial networks with progressive training has made it possible to generate high-resolution images. However, existing approaches have limitations in achieving both high image quality and structural consistency at the same time. Our method tackles the limitations by progressively increasing the resolution of both generated images and structural conditions during training. In this paper, we empirically demonstrate the effectiveness of this method by showing the comparison with existing approaches and video generation results of diverse anime characters at 1024x1024 based on target pose sequences. We also create a novel dataset containing full-body 1024x1024 high-resolution images and exact 2D pose keypoints using Unity 3D Avatar models.

研究の動機と目的

• 高解像度で構造的一致性のある全身アニメキャラクターを、正確なポーズ制御で生成する課題に対処すること。
• 従来のGANが、キャラクター生成における高画質性とグローバルな構造的整合性の両方で困難を抱えるという制限を克服すること。
• 各スケールでポーズキーポイントマップを条件付けしながら、段階的に解像度を向上させる訓練フレームワークを構築すること。
• 学習と評価のための、1024×1024のアニメ画像と正確な2Dポーズキーポイントアノテーションを備えた、新規の大規模データセットを構築すること。
• 学習済みの潜在変数を用いて連続するポーズシーケンスに条件づけることで、制御可能で滑らかなアニメーション生成を可能にすること。

提案手法

• PSGANはプログレッシブ GAN を拡張し、マルチスケールの構造的条件を導入：各解像度レベルでポーズキーポイントマップをダウンサンプリングし、生成器と判別器の両方に入力する。
• 生成器は各解像度段階で潜在ベクトルとポーズマップから画像を生成する。判別器は、同じポーズマップを用いてリアルさと構造的一致性を評価する。
• ポーズキーポイントマップは、Unity 3Dアバターのモデルから直接座標を抽出することで作成され、推定誤差がゼロで高精度を確保する。
• ネットワークはプログレッシブ成長で訓練される：4×4 から始め、1024×1024 まで段階的に解像度を向上させ、バッチサイズと初期学習率を段階的に低下させてGPUメモリを管理する。
• 訓練の安定化のため、n_critic=1 のWGAN-GP損失を用い、生成器は段階を経て減少する適応的学習率で訓練される。
• 構造的条件は、キーポイント位置に1、それ以外に-1をとるヒートマップとして表現され、各スケール間でマックスプーリングを用いてダウンサンプリングされる。

実験結果

リサーチクエスチョン

• RQ1 GANフレームワークは、ポーズ条件を用いて1024×1024の全身アニメ画像を、高い構造的一致性と画像品質で生成できるか？
• RQ2 マルチスケールのポーズキーポイントマップへのプログレッシブな条件付けは、単一スケールの条件付けと比較して構造的一致性を向上させるか？
• RQ3 PSGANは、ポーズ条件付き画像生成において、プログレッシブ GAN や PG2 といったベースライン GAN と比較して、画像品質と構造的正確性で優れているか？
• RQ4 固定された潜在コードを用い、連続するポーズシーケンスに条件づけることで、PSGANは滑らかで制御可能なアニメーションを生成できるか？
• RQ5 Unity 3D モデルから得た合成的で正確なポーズキーポイントデータの使用は、訓練の安定性と生成品質をどの程度向上させるか？

主な発見

• PSGANは、品質評価結果から明らかになったように、高視覚的品質と強い構造的一致性を備えた1024×1024の全身アニメキャラクター画像を成功して生成した。
• プログレッシブ GAN と比較して、PSGANはより現実的で、グローバルなポーズ構造と整合した画像を生成し、四肢のずれなどのアーティファクトを回避した。
• PG2でさえもペアド画像を用い、画像対画像変換を必要としているにもかかわらず、PSGANは画像品質において優れており、ぼやけた結果や不鮮明な部分が少なく、より詳細な出力を得た。
• 本手法により、潜在コードを固定したまま連続するポーズシーケンスに条件づけることで、再訓練なしに滑らかなアニメーション生成が可能になった。
• Unity 3D を用いて正確なポーズキーポイント抽出を実施した新規の Avatar Anime-Character データセットは、将来的なアニメ生成研究のための高品質でスケーラブルなリソースを提供する。