[論文レビュー] XingGAN for Person Image Generation

Hao Tang, Song Bai+3 more|arXiv (Cornell University)|Jul 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 10

ひとこと要約

本稿では、人物画像生成のための新規生成対抗ネットワークXingGANを提案する。この手法は、形状特徴と外見特徴の間で協調的かつ相互に注意を向け合うために、形状誘導型外見ベース（SA）と外見誘導型形状ベース（AS）の2つの段階的ブランチを用い、新規のSAおよびASブロックを通じて、外見と形状の特徴を統合的にモデル化する。本手法はMarket-1501およびDeepFashionで最先端の性能を達成し、従来手法に比べてインセプションスコアで最大0.233、マスクSSIMで0.009の向上を達成した。

ABSTRACT

We propose a novel Generative Adversarial Network (XingGAN or CrossingGAN) for person image generation tasks, i.e., translating the pose of a given person to a desired one. The proposed Xing generator consists of two generation branches that model the person's appearance and shape information, respectively. Moreover, we propose two novel blocks to effectively transfer and update the person's shape and appearance embeddings in a crossing way to mutually improve each other, which has not been considered by any other existing GAN-based image generation work. Extensive experiments on two challenging datasets, i.e., Market-1501 and DeepFashion, demonstrate that the proposed XingGAN advances the state-of-the-art performance both in terms of objective quantitative scores and subjective visual realness. The source code and trained models are available at https://github.com/Ha0Tang/XingGAN.

研究の動機と目的

• 従来のGANベースの人物画像生成手法が、外見と形状の依存関係を効果的にモデル化できないという限界を解消すること。
• 外見と形状表現の相互強化を可能にすることで、生成画像の視覚的精細度とポーズ整合性を向上させること。
• 段階的かつ相互注意付きの特徴精錬を通じて、詳細な人物画像を段階的に合成する新しいアーキテクチャを設計すること。
• 提案された共通注意融合および二重ブランチジェネレータ設計の有効性を、困難なベンチマーク上で検証すること。

提案手法

• Xingジェネレータは、SA（形状誘導型外見）およびAS（外見誘導型形状）の2つの並列ブランチを採用し、それぞれが繰り返し外見特徴と形状特徴を精錬するXingブロックの系列を用いる。
• 各Xingブロックには、外見および形状モダリティからの注意マップを共同で生成するSAおよびASサブブロックが含まれており、これにより異分野特徴の相互作用が可能になる。
• 共通注意融合（CAF）モジュールは、両モダリティから共同で計算された注意マップを用いて、最終的な外見特徴と形状特徴を統合し、生成品質を向上させる。
• モデルは二重ディスクリミネータ構成を採用しており、外見誘導型ディスクリミネータと形状誘導型ディスクリミネータの両方が、ジェネレータと同時にEnd-to-Endで学習される。
• ネットワークはEnd-to-Endで訓練され、両ブランチが相互に自己監視を受けることで、特徴表現が段階的に向上する。
• アーキテクチャは、インセプションスコア（IS）、マスクIS、SSIM、マスクSSIMなどの指標を用いて、Market-1501およびDeepFashionで評価された。

実験結果

リサーチクエスチョン

• RQ1 外見と形状特徴の間で相互注意を実現することで、単一モダリティの注意を超えた人物画像生成品質の向上が可能か？
• RQ2 段階的で二重ブランチのジェネレータ設計は、単一ブランチまたは残差ベースラインに比べ、より優れたポーズ整合性と視覚的リアリズムを実現するか？
• RQ3 提案された共通注意融合モジュールは、画像合成のための外見と形状表現の統合にどの程度効果的か？
• RQ4 XingGANフレームワークは、大きなポーズ変動や複雑な衣装変形を伴う困難なデータセットにも一般化可能か？

主な発見

• Market-1501では、XingGANがインセプションスコア3.708の新たな最先端を記録し、従来の最良手法に比べ0.233ポイントの向上を達成した。
• DeepFashionでは、マスクSSIMが0.816に達し、ベースラインから0.009の向上を示しており、構造的整合性の優位性が裏付けられた。
• アブレーションスタディの結果、共通注意融合（CAF）モジュールは、'SA+AS'ベースラインに比べ、マスクISを0.065、マスクSSIMを0.009向上させた。
• 9個のXingブロックを用いることで最適な性能が得られ、ブロック数を増やすと性能が低下する傾向にあり、効果的な相互注意には少数のブロックで十分であることが示された。
• 5ブロックのXingジェネレータは、13ブロックのResNetおよびPATNジェネレータを上回る性能を示し、多数のブロックを必要としないにもかかわらず、高いサンプル効率と表現力を持つことが確認された。
• 可視化結果から、共通注意マップが入力と生成特徴の間で補完的かつ意味のある注意パターンを学習しており、リアリズムと一貫性の向上に寄与していることが確認された。