[論文レビュー] Learning Semantic Person Image Generation by Region-Adaptive Normalization

Zhengyao Lv, Xiaoming Li+5 more|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 4

ひとこと要約

本稿では、まずターゲットのセマンティックパースィングマップを予測し、その後、領域適応型正規化を用いて各領域の外観スタイルを転送する2段階フレームワークであるSPGNetを提案する。これにより、最先端手法と比較して、写真のようにリアルで一貫性のある人物画像生成が顕著に向上し、DeepFashionデータセットではFIDスコア12.613を達成し、2番目に優れた手法と比較してJabスコアが8.06%高い結果を示した。

ABSTRACT

Human pose transfer has received great attention due to its wide applications, yet is still a challenging task that is not well solved. Recent works have achieved great success to transfer the person image from the source to the target pose. However, most of them cannot well capture the semantic appearance, resulting in inconsistent and less realistic textures on the reconstructed results. To address this issue, we propose a new two-stage framework to handle the pose and appearance translation. In the first stage, we predict the target semantic parsing maps to eliminate the difficulties of pose transfer and further benefit the latter translation of per-region appearance style. In the second one, with the predicted target semantic maps, we suggest a new person image generation method by incorporating the region-adaptive normalization, in which it takes the per-region styles to guide the target appearance generation. Extensive experiments show that our proposed SPGNet can generate more semantic, consistent, and photo-realistic results and perform favorably against the state of the art methods in terms of quantitative and qualitative evaluation. The source code and model are available at https://github.com/cszy98/SPGNet.git.

研究の動機と目的

• 新しいポーズ下での写真のようにリアルで、意味的に一貫性のある人物画像を生成する課題に対処すること。
• 従来の手法が細部の外観を保持できず、ぼやけたまたは一貫性のないテクスチャを生じるという限界を克服すること。
• 複雑なポーズ転送タスクを2段階に分解すること：まずセマンティックマップの予測を行い、その後に領域別外観翻訳を行うこと。
• 領域適応型正規化による各領域のスタイルガイドランスを活用することで、外観の一貫性とリアリズムを向上させること。
• 定量的指標と定性的な結果の両面で、最先端手法を上回る優れた性能を示すこと。

提案手法

• 2段階フレームワークを提案：まず、SPATNモデルが入力画像とターゲットポーズからターゲットのセマンティックパースィングマップを予測する。
• 予測されたセマンティックマップを条件付きの監視として用い、2段階目で外観転送をガイドする。
• スタイルコードを各身体領域に適応させ、それらを対応するターゲット領域にブロードキャストする、新規の領域適応型正規化層（SEAN）を導入する。
• 予測されたセマンティックパースィングマップの品質を向上させるために、ヒートマップの代わりに骨格の距離マップを用いる。
• 条件付き正規化を備えたデュアルパスU-Netアーキテクチャを採用したSPGNetジェネレータを設計し、高精細な画像を合成する。
• 正規化の代替手段として条件付き畳み込みカーネルの検討も行ったが、領域適応型正規化がより優れた結果をもたらした。

実験結果

リサーチクエスチョン

• RQ1 ターゲットのセマンティックパースィングマップを予測することで、新しいポーズ下での人物画像生成の品質と一貫性が向上するか？
• RQ2 グローバル正規化（例：AdaIN）と比較して、領域適応型正規化はポーズ転送中に各領域の外観細部をどれほど効果的に保持できるか？
• RQ3 ヒートマップの代わりに骨格表現に距離マップを用いることで、セマンティックマップの予測精度が向上し、結果として画像生成品質も向上するか？
• RQ4 2段階アプローチ（セマンティックマップ予測 → 領域別スタイル翻訳）は、エンドツーエンドのポーズ転送手法を上回る性能を示せるか？
• RQ5 各領域のスタイルガイドランスは、視覚的アーティファクトを低減し、リアリズムを向上させるにあたり、どの程度の寄与を果たすか？

主な発見

• SPGNetはDeepFashionデータセットでFIDスコア12.613を達成し、2番目に優れた手法と比較してFID低減率が13.1%高い。
• Jabスコア（最も良いと評価された画像の割合）は2番目に優れた手法と比較して8.06%高い。これは、より優れた知覚的品質を示している。
• Ours-Fullバージョンは最高のSSIM（0.783）と最小のLPIPS（0.2133）を達成しており、構造的および知覚的忠実度の向上を確認した。
• アブレーションスタディの結果、領域適応型正規化はグローバル正規化（例：SEAN）や他の正規化バリエーションと比較して顕著に性能向上を示した。
• 視覚的比較により、Ours-Fullは特に隠蔽や複雑なポーズ下でも、よりリアルなテクスチャと一貫性のある身体部位を生成することが確認された。
• 骨格表現に距離マップを用いることで、より正確なセマンティックマップ予測が可能となり、その結果、最終的な画像品質も向上した。