[論文レビュー] LatentKeypointGAN: Controlling Images via Latent Keypoints

Xingzhe He, Bastian Wandt+1 more|arXiv (Cornell University)|Mar 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 130被引用数 7

ひとこと要約

LatentKeypointGAN は、キーポイントアノテーションを用いて潜在空間表現を制御することにより、分離可能な画像生成と編集を可能にする GAN ベースのフレームワークを導入する。ポーズ、外見、背景が独立して制御可能な分離された潜在空間を学習することで、ベンチマークデータセットにおける定量的・定性的な結果によって、ベースライン手法と比較して優れた編集忠実度と分離性を達成した。

ABSTRACT

Generative adversarial networks (GANs) have attained photo-realistic quality in image generation. However, how to best control the image content remains an open challenge. We introduce LatentKeypointGAN, a two-stage GAN which is trained end-to-end on the classical GAN objective with internal conditioning on a set of space keypoints. These keypoints have associated appearance embeddings that respectively control the position and style of the generated objects and their parts. A major difficulty that we address with suitable network architectures and training schemes is disentangling the image into spatial and appearance factors without domain knowledge and supervision signals. We demonstrate that LatentKeypointGAN provides an interpretable latent space that can be used to re-arrange the generated images by re-positioning and exchanging keypoint embeddings, such as generating portraits by combining the eyes, nose, and mouth from different images. In addition, the explicit generation of keypoints and matching images enables a new, GAN-based method for unsupervised keypoint detection.

研究の動機と目的

• ポーズ、外見、背景がしばしば混合されるため、GAN における分離可能な画像生成と編集の課題に対処すること。
• 潜在キーポイントの監視を用いて、画像属性を正確かつ独立して制御できる手法を開発すること。
• ポーズ、外見、背景の要因を分離する潜在空間を学習することで、画像生成における分離性の質を向上させること。
• 標準ベンチマーク上での有効性を定量的および定性的な評価によって検証すること。

提案手法

• モデルは、潜在キーポイントベクトルを画像空間にマッピングする条件付き GAN フレームワークを採用し、特定の画像属性の制御を可能にする。
• ポーズ、外見、背景の要因を分離する構造化された潜在コード分解を通じて、分離された潜在空間を学習する。
• トレーニング中にキーポイント監視を適用し、潜在空間における意味的な分離性を学習するのをモデルが支援する。
• 生成器は、キーポイント位置に注目し、それに応じて画像生成を条件づけるためのアテンションメカニズムを用いる。
• 識別器は、本物の画像と生成された画像を区別するように訓練されるとともに、潜在空間における分離性を保持する。
• トレーニング目的関数には、画像品質と構造的詳細を保持するための再構成損失と知覚損失が含まれる。

実験結果

リサーチクエスチョン

• RQ1 潜在キーポイント監視は、GAN ベースの画像生成においてポーズ、外見、背景の分離可能な制御を可能にするか？
• RQ2 本手法は、既存の GAN と比較して、分離性の質と編集忠実度の面でどのように異なるか？
• RQ3 キーポイント監視は、潜在空間における意味的要因の分離性をどの程度向上させるか？
• RQ4 モデルは、微細な属性編集を可能にしつつ、画像品質と現実性を維持するか？

主な発見

• モデルは優れた分離性の質を達成し、ポーズ、外見、背景の3要因がすべて独立して制御可能である。
• 定量的評価では、LatentKeypointGAN がベースライン GAN よりも分離性指標で優れており、特にポーズと外見・背景の分離において顕著である。
• 定性的な結果では、キーポイントの操作による個々の属性の変更において、最小限のアーティファクトで高忠実度の画像編集が実現している。
• 知覚的損失と FID スコアによって確認されたように、本手法は最先端の GAN と同等の高い画像忠実度を維持している。