[論文レビュー] Neural Texture Extraction and Distribution for Controllable Person Image Synthesis

Yurui Ren, Xiaoqing Fan+3 more|arXiv (Cornell University)|Apr 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、ターゲットのポーズ分布に従って、参照画像から分離された意味的ニューラルテクスチャを抽出・再構成する、制御可能な人物画像合成のための新規なニューラルテクスチャ抽出・分配（NTED）フレームワークを提案する。二重アテンションを活用することで、高精細で高解像度（512×352）の画像生成を実現し、ニューラルテクスチャ統合と最適化により明示的な外見制御を可能にする。

ABSTRACT

We deal with the controllable person image synthesis task which aims to re-render a human from a reference image with explicit control over body pose and appearance. Observing that person images are highly structured, we propose to generate desired images by extracting and distributing semantic entities of reference images. To achieve this goal, a neural texture extraction and distribution operation based on double attention is described. This operation first extracts semantic neural textures from reference feature maps. Then, it distributes the extracted neural textures according to the spatial distributions learned from target poses. Our model is trained to predict human images in arbitrary poses, which encourages it to extract disentangled and expressive neural textures representing the appearance of different semantic entities. The disentangled representation further enables explicit appearance control. Neural textures of different reference images can be fused to control the appearance of the interested areas. Experimental comparisons show the superiority of the proposed model. Code is available at https://github.com/RenYurui/Neural-Texture-Extraction-Distribution.

研究の動機と目的

• ポーズと外見の明示的制御を可能にする制御可能な人物画像合成を実現すること。
• 畳み込みニューラルネットワーク（CNN）と標準アテンションの限界を克服し、長距離の空間的依存関係を効率的にモデル化し、空間的変形を適切に行えるようにすること。
• 顔、髪、衣類などの意味的エンティティ（例：顔、髪、服）を表す分離可能で表現力のあるニューラルテクスチャを抽出すること。
• 複雑な変形や隠蔽状態においてアーチファクトを回避する軽量で効率的な空間変換モジュールを開発すること。
• 異なる参照画像からのニューラルテクスチャをシームレスに統合し、一貫性のある外見操作を可能にすること。

提案手法

• NTED操作は二重アテンションを用いて、参照特徴マップから階層的な意味的ニューラルテクスチャを抽出する。
• 抽出フェーズでは、空間的に注意を向けるアテンションを用いて、参照画像からの特徴を収集し、意味的エンティティを分離する。
• 分配フェーズでは、ターゲットポーズからの学習済み空間的分布に基づくソフトアテンション選択によって、ニューラルテクスチャを再構成する。
• マルチスケールの生成ネットワークがNTEDモジュールを統合し、条件付きの意味的分布を予測し、画像を再構築する。
• 異なる参照からのニューラルテクスチャを統合するための補間係数を自動で探索する最適化手法を導入する。
• モデルは標準的なGAN損失関数を用いて訓練され、写真的リアリズムと知覚的品質を保証する。

Figure 1 : Controllable person image synthesis. Our model can generate realistic images by explicitly controlling the poses and appearance of reference images.

実験結果

リサーチクエスチョン

• RQ1 ニューラルテクスチャベースのアプローチは、従来のCNNやフローベースの手法と比較して、人物画像合成においてより正確でアーチファクトのない画像変形を達成できるか？
• RQ2 分離されたニューラルテクスチャは、顔、髪、衣類などの意味的エンティティをどれほど効果的に表現できるか？
• RQ3 提案されたNTED操作は、高解像度画像合成において、標準アテンション機構と比較して効率性と性能で優れているか？
• RQ4 異なる参照画像からのニューラルテクスチャをどれほど効果的に統合し、一貫性があり現実的な画像を制御可能な外見で生成できるか？
• RQ5 モデルは、複雑な変形下でも、未知のポーズ、衣類、アイデンティティに一般化できるか？

主な発見

• 提案モデルは、FIDスコア8.6838およびLPIPSスコア0.1752を達成し、ベースライン、スタイルベース、標準アテンションモデルを上回る性能を示した。
• 標準アテンションモデル（219.94 G）と比較して、競争力のあるSSIM（0.7182）と低いFLOPs（103.99 G）を達成しており、高い効率性を示した。
• 定性的な結果から、極めて複雑なテクスチャや構造の忠実な再構成が、顕著なポーズ変化や隠蔽状態下でも可能であることが示された。
• ニューラルテクスチャ統合による外見制御により、異なる参照からの衣類や顔の特徴が滑らかに融合され、一貫性のある結果が得られた。
• アブレーションスタディの結果、ベースライン手法と比較してNTEDモジュールがテクスチャの忠実性と空間的一致性を顕著に向上させたことが確認された。
• 失敗事例は、代表されていないポーズ、衣類、またはリアルな状況下のアイデンティティに主に見られ、より多様なトレーニングデータで改善の余地があることが示された。

Figure 2 : Overview of the neural texture extraction and distribution operation. Semantic neural textures are first extracted from the reference feature map. Then they are distributed according to the spatial distributions learned from the target skeleton. The heat maps show the attention coefficien