[論文レビュー] PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing

Zhenliang He, Meina Kan+2 more|arXiv (Cornell University)|Jul 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 15

ひとこと要約

PA-GAN は、高レベルから低レベルのエンコーダー特徴マップに、粗いから細かい段階的で注意誘導の属性操作を適用するプログレッシブアテンション GAN を提案する。1 属性あたり複数のサブマスクを用い、段階的な精錬を行うことで、属性の正しさ（83.7% の正確性）と不要な変更の抑制（5.47 L1 誤差）の両面で最先端のバランスを達成し、StarGAN や SaGAN と比較して両方の指標で優れている。

ABSTRACT

Facial attribute editing aims to manipulate attributes on the human face, e.g., adding a mustache or changing the hair color. Existing approaches suffer from a serious compromise between correct attribute generation and preservation of the other information such as identity and background, because they edit the attributes in the imprecise area. To resolve this dilemma, we propose a progressive attention GAN (PA-GAN) for facial attribute editing. In our approach, the editing is progressively conducted from high to low feature level while being constrained inside a proper attribute area by an attention mask at each level. This manner prevents undesired modifications to the irrelevant regions from the beginning, and then the network can focus more on correctly generating the attributes within a proper boundary at each level. As a result, our approach achieves correct attribute editing with irrelevant details much better preserved compared with the state-of-the-arts. Codes are released at https://github.com/LynnHo/PA-GAN-Tensorflow.

研究の動機と目的

• 顔の属性編集における属性の正しさと不要な変更の抑制のトレードオフを解消すること。
• 複数の特徴レベルで注意によって定義された領域内に制限された、局所的な編集を可能にすること。
• 1 つのモデルで複数の属性編集を可能にし、各属性ごとに別々の注意マスクを用いること。
• 粗いから細かい特徴レベルへの段階的精錬により、モデルの頑健性と忠実度を向上させること。

提案手法

• モデルは、高レベルから低レベルの特徴マップに対してプログレッシブアテンション編集を適用するエンコーダデコーダアーキテクチャを採用する。
• 各特徴レベルで、ターゲット属性の特徴を元の特徴にブレンドするための注意マスクが学習され、編集が関連領域に限定されるようにする。
• 異なる属性ごとに複数のサブマスクが使用され、空間的な制御を精密に実現しながら複数属性の同時編集が可能になる。
• 注意マスク生成の際に残差接続が適用され、訓練の安定性と特徴学習の向上が図られる。
• 損失関数には、マスクのコンact性を促進するスパarsity損失と、属性間のマスク干渉を防ぐためのオーバーラップ損失が含まれる。
• 敵対的損失、再構成損失、知覚的損失を組み合わせて、エンドツーエンドで訓練され、リアルなかつ正確な編集が保証される。

実験結果

リサーチクエスチョン

• RQ1 特徴マップにおけるプログレッシブアテンション編集は、属性の正しさと不要な変更の抑制のバランスを改善できるか？
• RQ2 多段階的・粗いから細かい編集は、顔の属性操作の品質と局所化にどのように影響するか？
• RQ3 別々の注意マスクを用いることで、1 つのモデルが複数の属性を性能劣化なしに効果的に処理できるか？
• RQ4 残差接続および補助損失（スパarsity、オーバーラップ）は、モデルの頑健性と正確性にどのように寄与するか？

主な発見

• PA-GAN は CelebA で 83.7% の属性編集正確性を達成し、StarGAN（74.1%）や AttGAN（72.3%）を顕著に上回っている。
• 不要な変更の抑制誤差は 5.47 であり、StarGAN（10.2） や AttGAN（9.8） よりも顕著に低く、アイデンティティおよび背景の保持が優れている。
• 除去実験では、残差接続を削除すると正確性が 5.1% 減少し、安定した訓練におけるその重要性が確認された。
• 1 つのマスクではなく複数のサブマスクを用いることで正確性が 5.4% 向上し、属性ごとの注意制御の利点が示された。
• スパarsity損失およびオーバーラップ損失の両方とも性能向上に寄与しており、いずれかを削除すると誤差と保持損失の両方が増加した。
• プログレッシブステップ数を増やすことで正確性と保持誤差の両方が向上し、粗いから細かい戦略の有効性が裏付けられた。