[논문 리뷰] A Visual Representation for Editing Face Images

Jiajun Lu, Kalyan Sunkavalli외 3명|arXiv (Cornell University)|2016. 12. 02.

Face recognition and analysis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 형태적 얼굴 기하학, 알베도, 조명 및 비모수적 세부 정보 지ap을 결합한 새로운 시각적 표현을 제안하여 현실적인 재조명, 메이크업 이식 및 얼굴 세부 사항 편집을 가능하게 한다. 저주파 조명과 고주파 세부 정보를 분리함으로써, 감정적 현실성에서 최신 기술 수준의 성능을 달성하였으며, 사용자 연구 결과 90% 이상의 경우에서 결과가 실제 이미지와 구분되지 않았다.

ABSTRACT

We propose a new approach for editing face images, which enables numerous exciting applications including face relighting, makeup transfer and face detail editing. Our face edits are based on a visual representation, which includes geometry, face segmentation, albedo, illumination and detail map. To recover our visual representation, we start by estimating geometry using a morphable face model, then decompose the face image to recover the albedo, and then shade the geometry with the albedo and illumination. The residual between our shaded geometry and the input image produces our detail map, which carries high frequency information that is either insufficiently or incorrectly captured by our shading process. By manipulating the detail map, we can edit face images with reality and identity preserved. Our representation allows various applications. First, it allows a user to directly manipulate various illumination. Second, it allows non-parametric makeup transfer with input face's distinctive identity features preserved. Third, it allows non-parametric modifications to the face appearance by transferring details. For face relighting and detail editing, we evaluate via a user study and our method outperforms other methods. For makeup transfer, we evaluate via an online attractiveness evaluation system, and can reliably make people look younger and more attractive. We also show extensive qualitative comparisons to existing methods, and have significant improvements over previous techniques.

연구 동기 및 목표

• 신원을 유지하면서도 현실적인 외관 조작이 가능한 통합된 시각적 표현을 개발하기 위해.
• 다중 참조 이미지가 필요 없이 단일 얼굴 이미지에 대해 상호작용 가능한 재조명을 가능하게 하기 위해.
• 기부자 신원과 얼굴 구조를 유지하면서도 고해상도 비모수적 메이크업 이식을 달성하기 위해.
• 피부 질감, 모공, 주름 등 세부적인 얼굴 세부 사항 편집을 가능하게 하면서도 현실성을 유지하기 위해.
• 얼굴 재조명 및 편집 품질에 대한 정량적이고 감정 기반 평가 프레임워크를 제공하기 위해.

제안 방법

• 입력 얼굴에 형태적 얼굴 모델을 정렬하여 거시적 3차원 기하학을 추정한다.
• 추정된 조명을 사용한 라운드 조명 모델을 활용해 입력 이미지를 알베도와 조명으로 분해한다.
• 렌더링된 이미지와 입력 이미지 간 잔차로 세부 정보 지도를 계산하여 고주파 변형을 캡처한다.
• 세부 정보 지도를 사용해 비모수적 편집을 수행: 메이크업 이식, 재조명, 표면 세부 사항 수정.
• 메이크업 이식 중 신원을 유지하기 위해 승수형 세부 정보 지도 혼합을 적용한다.
• 사용자 연구 및 온라인 미적 평가를 통해 감정적 품질을 정량적으로 평가한다.

실험 결과

연구 질문

• RQ1 기하학, 알베도, 조명 및 세부 정보 지도를 통합한 시각적 표현이 현실적이고 상호작용 가능한 얼굴 편집을 가능하게 할 수 있는가?
• RQ2 기존 기법과 비교해 본다면 제안된 방법은 단일 얼굴 이미지 재조명에 얼마나 효과적인가?
• RQ3 비모수적 메이크업 이식은 다양한 메이크업 스타일에서 신원을 유지하면서도 현실적인 결과를 낼 수 있는가?
• RQ4 사용자들이 편집된 얼굴을 실제 얼굴과 구분할 수 있는 정도는 어느 정도이며, 이는 감정적 현실성의 수준을 어떻게 반영하는가?
• RQ5 세부 정보 지도 구성 요소가 기준 모델과 비교해 얼굴 편집 품질을 상당히 향상시키는가?

주요 결과

• 재조명 및 세부 정보 이식에 대해 사용자 연구에서 각각 90.5% 및 92.5%의 오차율을 기록하여 결과가 실제 이미지와 거의 구분되지 않는다는 것을 확인했다.
• 메이크업 이식에서 온라인 평가에서 인상의 매력도와 젊은 느낌이 크게 향상되었으며, 사용자 평가에서 기준 방법보다 더 매력적으로 평가되었다.
• 사용자 연구 결과, 숙련된 사용자가 난이도가 낮은 사용자보다 더 나은 성과를 냈지만, 둘 다 편집된 얼굴과 실제 얼굴을 신뢰성 있게 구분하지 못해 높은 감정적 현실성을 확인했다.
• 형태적 모델이나 세부 정보 지도 중 하나가 없을 경우 성능이 심각하게 떨어져, 둘 다 고품질 결과를 얻기 위해 필수적임을 입증했다.
• 재조명, 메이크업 이식, 세부 사항 편집을 포함한 모든 평가 과제에서 기존 기법을 초월했으며, 정성적·정량적으로 뛰어난 성능을 보였다.
• 세부 정보 지도 접근 방식은 기하학 및 알베도 추정의 정확도가 떨어지는 경우에도 견고한 편집을 가능하게 하여 모델의 정확도 부족에 대한 내성적 저항력을 보였다.