[논문 리뷰] Towards High-fidelity Nonlinear 3D Face Morphable Model

Luan Tran, Feng Liu외 1명|arXiv (Cornell University)|2019. 04. 09.

Face recognition and analysis참고 문헌 50인용 수 14

한 줄 요약

이 논문은 유연한 정규화를 사용하여 형태와 알베도 프록시를 학습함으로써 재구성 세부 정보를 향상시키는 고해상도 비선형 3D 얼굴 형태 모델을 제안한다. 이중 경로 네트워크를 통해 전반적인 구조와 국소적 얼굴 세부 사항의 균형을 맞추며, 외부 지도 없이 잠재 표현만 최적화함으로써 기존 선형 및 비선형 3DMM보다 정밀도와 정체성 유지 측면에서 최신 기술 수준을 달성한다.

ABSTRACT

Embedding 3D morphable basis functions into deep neural networks opens great potential for models with better representation power. However, to faithfully learn those models from an image collection, it requires strong regularization to overcome ambiguities involved in the learning process. This critically prevents us from learning high fidelity face models which are needed to represent face images in high level of details. To address this problem, this paper presents a novel approach to learn additional proxies as means to side-step strong regularizations, as well as, leverages to promote detailed shape/albedo. To ease the learning, we also propose to use a dual-pathway network, a carefully-designed architecture that brings a balance between global and local-based models. By improving the nonlinear 3D morphable model in both learning objective and network architecture, we present a model which is superior in capturing higher level of details than the linear or its precedent nonlinear counterparts. As a result, our model achieves state-of-the-art performance on 3D face reconstruction by solely optimizing latent representations.

연구 동기 및 목표

• 고주파 세부 정보 복원을 방해하는 3D 얼굴 재구성에서 강한 정규화의 한계를 극복하기 위해.
• 비선형 3DMM에서 전반적인 형태 정규화와 국소적 세부 정보 충실도 사이의 갈등을 해결하기 위해.
• 학습된 형태와 알베도 프록시를 통해 정규화를 분리함으로써 3D 얼굴 재구성 품질을 향상시키기 위해.
• 이중 경로 네트워크 아키텍처를 통해 전반적인 내구성과 국소적 표현력의 균형을 맞추기 위해.
• 외부 지도 없이 잠재 표현만 최적화함으로써 최신 기술 수준의 3D 얼굴 재구성 성능를 달성하기 위해.

제안 방법

• 진짜 형태와 알베도를 더 높은 정밀도로 학습할 수 있도록 독립적으로 정규화된 형태와 알베도 프록시를 도입한다.
• 정규화된 프록시와 진짜 성분을 민첩하게 조합하는 새로운 쌍화 기법을 적용하여 세부 정보를 유지하면서 품질을 훼손하지 않는다.
• 거시적 얼굴 구조를 위한 전역 경로와 의미론적 얼굴 부위를 위한 다중 국소 경로를 갖춘 이중 경로 네트워크를 설계하여 세부 정보 모델링을 향상시킨다.
• 전역 및 국소 경로 간의 특징 융합을 통해 고해상도 3D 얼굴 메쉬와 알베도 맵을 생성한다.
• 심층 인코더 네트워크를 활용해 단일 2D 이미지에서 잠재 코드를 추론함으로써 3DMM 파라미터의 엔드 투 엔드 최적화를 가능하게 한다.
• UV 공간에서 음영 제거 알베도를 추정하여 조명과 알베도를 분해함으로써 정확한 텍스처 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 별도의 정규화를 적용한 형태와 알베도 프록시를 학습함으로써 고정밀 3D 얼굴 재구성 성능를 향상시킬 수 있는가?
• RQ2 이중 경로 네트워크 아키텍처는 전반적인 구조와 국소적 얼굴 세부 사항 모델링을 어떻게 균형 잡는가?
• RQ3 비선형 3DMM이 외부 지도 없이 잠재 표현 최적화만으로 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ4 제안된 방법은 도메인 외 조건에서 기존 3DMM보다 정체성 유지 능력이 뛰어나게 되는가?
• RQ5 모델은 스티커나 문신 적용과 같은 현실적인 3D 얼굴 편집 작업을 가능하게 하는가?

주요 결과

• 제안된 모델은 명시적 지도나 추가 데이터가 필요 없이 잠재 표현만 최적화함으로써 최신 기술 수준의 3D 얼굴 재구성 성능를 달성한다.
• 정체성 유지 측면에서 테스트 이미지의 77.2%가 선형 및 비선형 3DMM의 재구성 결과와 비교해 입력 이미지와 코사인 거리가 가장 작았으며, 이는 뛰어난 정체성 충실도를 의미한다.
• 모델은 일반적으로 선형 및 강한 정규화를 적용한 비선형 3DMM에서 손실되는 고주파 세부 정보인 얼굴 털과 메이크업까지 성공적으로 복원한다.
• Sela 등 [35]과 같은 최신 기술 방법과 비교해, 합성 훈련 데이터에서 발생하는 도메인 이동 문제를 피하면서 도메인 외 조건에서 더 뛰어난 내구성을 보인다.
• 이중 경로 네트워크를 통해 각 얼굴 부위에 맞는 필터를 특화시켜 더 나은 세부 정보 모델링과 계산 효율성을 달성한다.
• 형태, 알베도, 조명을 정확히 추정함으로써 자연스러운 렌더링을 가능하게 하여 스티커 적용과 같은 현실적인 3D 얼굴 편집 작업을 가능하게 한다.