[논문 리뷰] Triple consistency loss for pairing distributions in GAN-based face synthesis

Enrique Sánchez, Michel Valstar|arXiv (Cornell University)|2018. 11. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 14

한 줄 요약

이 논문은 GAN 기반 얼굴 합성에서 분포 불일치 문제를 해결하기 위해 삼중 일致 손실을 제안하며, 네트워크 통과 횟수에 관계없이 일관된 출력을 보장한다. 직접 경로와 다중 단계 경로 간의 등가성을 강제함으로써, 이는 신뢰할 수 있는 점진적 이미지 번역을 가능하게 하며, 새로운 랜드마크 유도형 얼굴 합성 모델(GANnotation)에서 구현되었다. 이 모델은 다양한 자세와 표정에서도 고해상도이자 신원을 유지하는 결과를 달성한다.

ABSTRACT

Generative Adversarial Networks have shown impressive results for the task of object translation, including face-to-face translation. A key component behind the success of recent approaches is the self-consistency loss, which encourages a network to recover the original input image when the output generated for a desired attribute is itself passed through the same network, but with the target attribute inverted. While the self-consistency loss yields photo-realistic results, it can be shown that the input and target domains, supposed to be close, differ substantially. This is empirically found by observing that a network recovers the input image even if attributes other than the inversion of the original goal are set as target. This stops one combining networks for different tasks, or using a network to do progressive forward passes. In this paper, we show empirical evidence of this effect, and propose a new loss to bridge the gap between the distributions of the input and target domains. This "triple consistency loss", aims to minimise the distance between the outputs generated by the network for different routes to the target, independent of any intermediate steps. To show this is effective, we incorporate the triple consistency loss into the training of a new landmark-guided face to face synthesis, where, contrary to previous works, the generated images can simultaneously undergo a large transformation in both expression and pose. To the best of our knowledge, we are the first to tackle the problem of mismatching distributions in self-domain synthesis, and to propose "in-the-wild" landmark-guided synthesis. Code will be available at https://github.com/ESanchezLozano/GANnotation

연구 동기 및 목표

• GAN 기반 얼굴 합성에서 다중 네트워크 통과 시 분포 일관성을 유지하는 데 실패하는 자기 일관성 손실의 문제를 해결한다.
• 경로 길이에 관계없이 출력 안정성을 확보함으로써, 다중 속성 변환을 순차적으로 적용하는 점진적 이미지 번역을 가능하게 한다.
• 최소한의 감독 하에 제약 없는 자세와 표정 변화를 지원하는 새로운 랜드마크 기반 얼굴 합성 프레임워크(GANnotation)를 개발한다.
• 신원 유지 얼굴 번역에서 입력 도메인과 목표 도메인 간의 분포 격차를 해소하여, 생성된 이미지의 일반화 능력과 재사용 가능성을 향상시킨다.
• 현재 자기 일관성 기반 모델이 생성된 이미지를 추가 변환에 재사용할 때, 외관이 사진처럼 보여도 실패하는 이유를 입증한다.

제안 방법

• 주어진 목표에 대해 직접 경로 또는 중간 단계를 거쳐가는 경로가 모두 동일한 출력을 내도록 보장하는 삼중 일치 손실을 제안한다.
• 일단 경로와 두 번째 경로를 통한 출력 간의 거리를 최소화하는 방식으로 손실를 수식화한다: 한 번에 목표로 도달하는 경로와 중간 속성 거쳐 도달하는 경로.
• 자기 일관성 손실과 함께 삼중 일치 손실을 통합하여 신원 유지와 함께 분포 이동 안정성을 확보한다.
• 합성에 조건부 입력으로 목표 얼굴 키포인트 구성의 히트맵을 사용하는 랜드마크 기반 GAN인 GANnotation을 설계한다.
• 입력 이미지를 목표 랜드마크로 매핑하면서 신원 유지와 사진 수준의 현실감을 확보하기 위해 삼중 일치 손실과 자기 일관성 손실을 모두 활용하여 생성기 학습.
• 유형 모델을 활용해 추론 중에 평면 내 회전과 시야 각도를 조작하여 다양한 자세와 표정을 생성한다.

실험 결과

연구 질문

• RQ1 현재 GAN 기반 얼굴 합성 모델은 사진 수준의 외관을 내는 데는 성공하지만, 생성된 이미지를 다시 사용해 점진적 속성 번역을 수행할 때 왜 실패하는가?
• RQ2 다중 네트워크 통과가 적용될 경우, 자기 일관성 손실이 입력 도메인과 목표 도메인 간의 분포 일관성을 얼마나 잘 유지하지 못하는가?
• RQ3 삼중 일치 손실이 다양한 변환 경로를 통해 생성된 이미지의 분포를 효과적으로 안정화시켜 신뢰할 수 있는 점진적 합성을 가능하게 하는가?
• RQ4 랜드마크 기반 GAN(GANnotation)이 큰 자세와 표정 변화에 대해 얼마나 잘 신원을 유지하고 현실적인 얼굴을 생성하는가?
• RQ5 목표 랜드마크가 실제 얼굴 구조에서 크게 벗어나면, 랜드마크 기반 합성의 실패 양상은 어떠한가?

주요 결과

• 실험적 증거는 StarGAN과 같은 자기 일관성 기반 모델이 입력이 약간만 변경되어도 자신의 출력을 재사용할 때 올바른 속성을 생성하지 못함을 보여준다.
• 삼중 일치 손실은 점진적 이미지 번역을 성공적으로 가능하게 한다: 제안된 손실로 학습된 모델은 '검은 머리' 이후 '노란 머리'로의 변환을 성공적으로 수행하지만, 기존 자기 일관성 손실을 사용한 경우 그렇지 못하다.
• GANnotation은 저해상도 입력이나 강한 자르기 조건에서도 사진 수준의 얼굴 이미지를 생성하며, 정량적·정성적 비교에서 CR-GAN을 능가한다.
• 목표 랜드마크가 현실적이며 입력 얼굴 구조와 잘 정렬되어 있을 경우, 다양한 자세와 표정에서도 신원 일관성이 유지된다.
• 목표 랜드마크가 극단적이거나 입력 얼굴 기하학과 일치하지 않을 경우, 네트워크는 신원을 우선시하기보다 랜드마크 배치를 우선시하여 현실감 없거나 성별 불일치가 발생하는 얼굴을 생성한다.
• 자기 일관성 손실을 제거하면 신원 유지 능력이 악화되며, 이는 삼중 일치 손실이 분포 안정성을 위해, 자기 일관성 손실이 신원 유지에 필요하다는 것을 시사한다.