[논문 리뷰] Dual-Attention GAN for Large-Pose Face Frontalization

Yu Yin, Songyao Jiang외 2명|arXiv (Cornell University)|2020. 02. 17.

Face recognition and analysis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 대칭자기주의(GAN) 아키텍처인 이중주의 GAN(DA-GAN)을 제안한다. 이는 생성자에 자기주의(self-attention)를 통합하여 장거리 맥락적 의존성을 포착하고, 판별자에 얼굴주의(face-attention)를 도입하여 얼굴 영역 전반에 걸쳐 국소적 현실감을 강화함으로써, 극단적인 자세(예: 90°)에서도 우수한 성능을 내는 대면 frontalization 기법이다. 이는 기존 방법 대비 정체성 유지와 사진과 유사한 현실감을 크게 향상시킨다.

ABSTRACT

Face frontalization provides an effective and efficient way for face data augmentation and further improves the face recognition performance in extreme pose scenario. Despite recent advances in deep learning-based face synthesis approaches, this problem is still challenging due to significant pose and illumination discrepancy. In this paper, we present a novel Dual-Attention Generative Adversarial Network (DA-GAN) for photo-realistic face frontalization by capturing both contextual dependencies and local consistency during GAN training. Specifically, a self-attention-based generator is introduced to integrate local features with their long-range dependencies yielding better feature representations, and hence generate faces that preserve identities better, especially for larger pose angles. Moreover, a novel face-attention-based discriminator is applied to emphasize local features of face regions, and hence reinforce the realism of synthetic frontal faces. Guided by semantic segmentation, four independent discriminators are used to distinguish between different aspects of a face (\ie skin, keypoints, hairline, and frontalized face). By introducing these two complementary attention mechanisms in generator and discriminator separately, we can learn a richer feature representation and generate identity preserving inference of frontal views with much finer details (i.e., more accurate facial appearance and textures) comparing to the state-of-the-art. Quantitative and qualitative experimental results demonstrate the effectiveness and efficiency of our DA-GAN approach.

연구 동기 및 목표

• 극단적인 자세 변화(예: 요, 피치가 90°까지)에서 정체성 유지 문제를 해결하기 위해.
• 표면 질감, 윤곽선, 주요 얼굴 특징점과 같은 미세한 얼굴 세부 사항에 초점을 맞춰 사진과 유사한 현실감을 향상시키기 위해.
• 표준 컨볼루션 레이어가 얼굴 합성에서 장거리 의존성과 국소 일관성을 포착하는 데 한계가 있음을 극복하기 위해.
• 생성자와 판별자를 보완하는 더 rich한 특징 표현과 더 나은 일반화 능력을 갖춘 이중주의 메커니즘을 개발하기 위해.

제안 방법

• 생성자 최상단 및 두 번째 최상단 레이어에 자기주의 모듈을 도입하여 특징 맵 전반에 걸친 장거리 맥락적 의존성을 모델링한다.
• 피부, 특징점, 헤어라인, 전체 얼굴 등 특정 얼굴 영역에 집중하는 네 개의 독립적 판별자로 구성된 얼굴주의 기반 판별 기법을 사용한다.
• 세분화된 학습을 가능하게 하기 위해 의미 세분화 마스크를 활용하여 각 판별자에 대한 영역별 지도 신호를 제공한다.
• 생성자와 판별자를 적대적 프레임워크에서 동시에 학습하며, 생성자는 적대적 손실을 최소화하고 정체성 유지 목적의 인식 헤드를 통해 정체성을 유지한다.
• 정체성 특징을 추출하고 코사인 유사도를 계산하기 위해 사전 학습된 Light-CNN 모델을 활용한다.
• 자기주의(G에서의 자기주의)와 얼굴주의(D에서의 얼굴주의)의 상호보완적 역할을 검증하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 생성자에 자기주의를 적용하면 극단적인 각도(예: 90°)에서 대면 frontalization 과정에서 정체성 유지가 향상되는가?
• RQ2 다중 판별자 기반 얼굴주의 기법이 합성된 전면 얼굴의 국소적 현실감을 향상시키고 잡음 요소를 줄이는가?
• RQ3 얼굴주의 판별자의 개별 구성 요소(피부, 특징점, 헤어라인)가 최종 합성 품질에 어떻게 다른 기여를 하는가?
• RQ4 이중주의 기법(생성자에서의 자기주의와 판별자에서의 얼굴주의)이 단일 또는 무모든 기법보다 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 DA-GAN이 다양한 자세 변화에서 정량적 지표와 정성적 현실감 모두에서 기존 최고 성능 기법을 초월하는가?

주요 결과

• 자기주의가 없는 변종 대비 90° 자세에서 얼굴 인식 정확도가 23.43% 향상되어 극단적 조건에서도 정체성 유지 능력이 뛰어나다는 것을 입증한다.
• 자기주의와 얼굴주의를 모두 적용한 모델이 모든 변종보다 우수하며, 특히 대면 자세에서 일관된 성능 향상을 보이며 Multi-PIE 및 CAS-PEAL-R1 벤치마크에서 뚜렷한 성과를 기록한다.
• 특징점 판별자가 정체성 인식 성능 향상에 가장 기여하는 반면, 헤어라인 판별자가 윤곽선 선명도와 질감 충실도 향상에 가장 기여한다.
• 정성적 결과 분석에서 이중주의 기반 합성은 기준 모델 및 부분주의 변종 대비 더 선명한 얼굴 세부 사항(예: 눈, 귀, 털)과 더 적은 잡음 요소를 보여준다.
• 분석 실험 결과, 자기주의가 흐림을 줄이고 얼굴주의가 국소적 현실감을 향상시키며, 두 구성 요소가 상호보완적인 개선 효과를 제공함을 확인한다.
• LFW 벤치마크에서 DA-GAN은 합성된 전면 얼굴에 대해 가장 높은 랭크-1 정체성 인식률을 기록하여 실제 얼굴 인식 환경에서의 효과성을 입증한다.