[論文レビュー] Cross Attention Based Style Distribution for Controllable Person Image Synthesis

Xinyue Zhou, Mingyu Yin+4 more|arXiv (Cornell University)|Aug 1, 2022

Face recognition and analysis被引用数 5

ひとこと要約

本論文は、ポーズ転送およびバーチャルトライオンを可能にする、1段階で制御可能な人物画像合成のためのクロスアテンションベースのスタイル分布（CASD）モジュールを提案する。この手法は、アテンションメカニズムを用いて、動的にソースのセマンティックスタイルとターゲットポーズを一致させることで実現する。定量的指標およびユーザースタディーの両面で最先端の性能を達成しており、別途訓練を要しない正確なパースングマップの同時生成も可能である。

ABSTRACT

Controllable person image synthesis task enables a wide range of applications through explicit control over body pose and appearance. In this paper, we propose a cross attention based style distribution module that computes between the source semantic styles and target pose for pose transfer. The module intentionally selects the style represented by each semantic and distributes them according to the target pose. The attention matrix in cross attention expresses the dynamic similarities between the target pose and the source styles for all semantics. Therefore, it can be utilized to route the color and texture from the source image, and is further constrained by the target parsing map to achieve a clearer objective. At the same time, to encode the source appearance accurately, the self attention among different semantic styles is also added. The effectiveness of our model is validated quantitatively and qualitatively on pose transfer and virtual try-on tasks.

研究の動機と目的

• ポーズ推定の信頼性の低いフロー推定を伴うマルチステージパイプラインを回避する1段階のトレーニングステージで、高精細で制御可能な人物画像合成を実現すること。
• 既存手法の制限、特に大きな変形を伴う場合のソーススタイルとターゲットポーズの一致の難しさを解決すること。
• 別個のパースングモデルを必要とせず、リアルなターゲット画像とパースングマップを同時に生成すること。
• 明示的なセマンティック領域スタイルの制御を通じて、バーチャルトライオンやヘッドスワッピングなどの高度な画像操作タスクを可能にすること。

提案手法

• CASDモジュールはクロスアテンションを用いて、ターゲットポーズ特徴（クエリ）とソースのセマンティックスタイル特徴（キーとバリュー）の間の動的類似度を計算し、色やテクスチャをターゲットポーズに柔軟にルーティングする。
• 異なるセマンティックスタイル間の自己アテンションを適用して、相関関係をモデル化し、スタイル表現の忠実度を向上させる。
• ターゲットポーズから直接投影ヘッドを介してアテンション行列を予測することで、明示的な監視を伴うエンドツーエンドのトレーニングを可能にする。
• アテンション行列は、新しいAMCE損失を用いて、ターゲットパースングマップの正例に基づいて制約され、一致精度とトレーニングの安定性が向上する。
• 再トレーニングなしに、ソース画像とリファレンス画像間の特定のセマンティック領域のスタイル特徴を交換することで、バーチャルトライオンおよびヘッドスワッピングをサポートする。
• パイプライン全体が1段階でトレーニングされ、画像合成とパースングマップ予測の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 1段階のモデルが、パースングマップの別個トレーニングを伴わず、リアルな人物画像と正確なパースングマップを同時に生成できるか？
• RQ2 クロスアテンションメカニズムは、複雑で変形の大きいターゲットポーズとソースセマンティックスタイルをどれほど効果的に一致させられるか？
• RQ3 セマンティックスタイル間の自己アテンションを組み込むことで、合成品質とスタイルの一貫性が向上するか？
• RQ4 特定のボディパーツのスタイル特徴の交換のみで、モデルがバーチャルトライオンおよびヘッドスワッピングに効果的に適応できるか？
• RQ5 パースングマップを用いてアテンション行列を制約するAMCE損失は、アテンション一致とモデル性能をどのように向上させるか？

主な発見

• CASDモデル全体は、DeepFashionデータセットにおいて、ターゲットパースングマップ予測で平均IoU 66.34を達成し、SPGNetの61.89を上回った。
• すべてのセマンティックカテゴリでクラスごとのIoUが向上し、特に上着（76.72 vs. 67.87）と背景（90.28 vs. 84.65）で顕著な向上が見られた。
• ユーザースタディーでは、ポーズ転送で45.67%のJabスコア、バーチャルトライオンでも45.67%を達成し、リアルさの認識が強いことを示した。
• アブレーションスタディーでは、自己アテンション、ポーズに基づくアテンション行列予測、またはAMCE損失のいずれかを削除すると性能が低下することが確認された。
• モデルは1段階でリアルな画像とパースングマップを効果的に生成し、別個のパースングまたはフローエスティメーションネットワークの必要性を排除した。
• 特定のボディパーツのスタイル特徴の交換のみで、ゼロショットのバーチャルトライオンとヘッドスワッピングを実現でき、ADGAN や PISE と比較して優れた視覚的忠実度を示した。