[논문 리뷰] PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing

Zhenliang He, Meina Kan외 2명|arXiv (Cornell University)|2020. 07. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 15

한 줄 요약

PA-GAN는 고수준에서 저수준으로의 계층적 특징 맵에 대해 군집에서 세분화되는 주의 기반의 속성 조작을 적용하는 점진적 주의 GAN을 제안한다. 여러 하위 마스크를 사용하고 점진적으로 개선함으로써, 속성 정확도(83.7% 정확도)와 무관성 유지(5.47 L1 오차) 사이의 최신 기술 수준(SOTA) 균형을 달성하며, StarGAN 및 SaGAN과 같은 기존 방법들보다 두 지표에서 모두 우수한 성능을 보인다.

ABSTRACT

Facial attribute editing aims to manipulate attributes on the human face, e.g., adding a mustache or changing the hair color. Existing approaches suffer from a serious compromise between correct attribute generation and preservation of the other information such as identity and background, because they edit the attributes in the imprecise area. To resolve this dilemma, we propose a progressive attention GAN (PA-GAN) for facial attribute editing. In our approach, the editing is progressively conducted from high to low feature level while being constrained inside a proper attribute area by an attention mask at each level. This manner prevents undesired modifications to the irrelevant regions from the beginning, and then the network can focus more on correctly generating the attributes within a proper boundary at each level. As a result, our approach achieves correct attribute editing with irrelevant details much better preserved compared with the state-of-the-arts. Codes are released at https://github.com/LynnHo/PA-GAN-Tensorflow.

연구 동기 및 목표

• 얼굴 속성 편집에서 속성 정확도와 무관성 유지 사이의 상충 관계를 해결하기 위해.
• 다양한 특징 수준에서 주의 기반 영역 내에서 제약을 두어 정밀하고 국소적인 편집을 가능하게 하기 위해.
• 각 속성에 대해 별도의 주의 마스크를 사용함으로써 단일 모델을 통해 다중 속성 편집을 지원하기 위해.
• 점진적으로 고수준에서 저수준 특징 수준으로 편집을 개선함으로써 안정성과 품질을 향상시키기 위해.

제안 방법

• 고수준에서 저수준 특징 수준으로 점진적 주의 편집을 적용하는 인코더-디코더 아키텍처를 사용한다.
• 각 특징 수준에서, 목표 속성 특징을 원본 특징에 혼합하기 위한 주의 마스크를 학습하며, 편집이 관련 영역에 국한되도록 보장한다.
• 다양한 속성에 대해 여러 하위 마스크를 사용하여, 정밀한 공간 제어를 통해 다중 속성의 동시 편집을 가능하게 한다.
• 주의 마스크 생성 과정에 잔차 연결을 적용하여 학습 안정성과 특징 학습 향상을 도모한다.
• 손실 함수로는 주의 마스크의 밀도를 낮추기 위한 흩어진 손실과, 서로 다른 속성 간의 마스크 간섭을 방지하기 위한 겹침 손실을 포함한다.
• 생성적 적대적 손실, 재구성 손실, 인지적 손실을 함께 사용하여 엔드 투 엔드로 학습함으로써 현실적이고 정확한 편집을 보장한다.

실험 결과

연구 질문

• RQ1 특징 맵에 대한 점진적 주의 편집이 속성 정확도와 무관성 유지 사이의 균형 향상에 기여하는가?
• RQ2 다중 수준의 계층적, 고수준에서 저수준으로의 편집 전략이 얼굴 속성 편집의 품질과 국소화 정확도에 어떤 영향을 미치는가?
• RQ3 각 속성에 대해 별도의 주의 마스크를 사용함으로써 단일 모델이 다중 속성 편집을 효과적으로 수행할 수 있는가?
• RQ4 잔차 연결과 보조 손실(흡산, 겹침)이 모델의 안정성과 정확도에 기여하는 정도는 어떠한가?

주요 결과

• PA-GAN은 CelebA 데이터셋에서 83.7%의 속성 편집 정확도를 달성하여 StarGAN(74.1%)과 AttGAN(72.3%)을 크게 앞서며 뛰어난 성능을 보였다.
• 무관성 유지 오차는 5.47로, StarGAN(10.2) 및 AttGAN(9.8)보다 유의미하게 낮아 신원과 배경 세부 사항의 유지 능력이 뛰어나다는 것을 시사한다.
• 제거 실험 결과 잔차 연결을 제거하면 정확도가 5.1% 감소하여 학습의 안정성 확보에 중요한 역할을 함을 확인하였다.
• 단일 마스크보다 여러 하위 마스크를 사용할 경우 정확도가 5.4% 향상되어 각 속성에 맞는 주의 제어의 유용성을 입증하였다.
• 흡산 손실과 겹침 손실을 각각 제거할 경우 오차와 유지 손실이 모두 증가하여, 두 보조 손실이 성능 향상에 기여하는 것으로 확인되었다.
• 점진적 단계 수를 늘일수록 정확도와 유지 오차가 모두 향상되어 고수준에서 저수준으로의 점진적 전략의 효과성을 검증하였다.