[논문 리뷰] Face Reflectance and Geometry Modeling via Differentiable Ray Tracing

Abdallah Dib, Gaurav Bharaj외 4명|arXiv (Cornell University)|2019. 10. 03.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 단일 뷰 3D 얼굴 재구성에 적합한 미분 가능 레이 트레이싱 프레임워크를 제안하며, 얼굴 기하학(신원, 표정, 자세), 반사율(확산 및 미세 반사 알베도), 그리고 환경 조명(자기 그림자 포함)을 명시적으로 분리한다. 파arameterized 가상 조명 스테이지와 미분 가능 몬테 카를로 레이 트레이서를 활용함으로써, 특히 과포화된 영역에서도 미세 반사와 그림자를 정확히 모델링하면서도 사진 일致성 손실의 강력한 최적화를 가능하게 한다.

ABSTRACT

We present a novel strategy to automatically reconstruct 3D faces from monocular images with explicitly disentangled facial geometry (pose, identity and expression), reflectance (diffuse and specular albedo), and self-shadows. The scene lights are modeled as a virtual light stage with pre-oriented area lights used in conjunction with differentiable Monte-Carlo ray tracing to optimize the scene and face parameters. With correctly disentangled self-shadows and specular reflection parameters, we can not only obtain robust facial geometry reconstruction, but also gain explicit control over these parameters, with several practical applications. We can change facial expressions with accurate resultant self-shadows or relight the scene and obtain accurate specular reflection and several other parameter combinations.

연구 동기 및 목표

• 복잡한 조명 조건과 자기 그림자를 동반한 단일 뷰 이미지에서 3D 얼굴 기하학을 재구성하는 데 도전하는 것.
• 조명, 반사율(확산 및 미세 반사 알베도), 얼굴 기하학(신원, 표정, 자세) 등의 시나리오 파라미터를 분리하여 명시적 제어와 강력한 최적화를 가능하게 하는 것.
• 이전 방법들이 과포화된 픽셀 영역에서 특히 실패하는 자기 그림자와 반사광을 모델링하지 못하는 한계를 극복하는 것.
• Cook-Torrance BRDF를 통한 물리 기반 반사율과 그림자 모델링을 통해 정확한 재조명 및 표정 편집을 가능하게 하는 것.
• 기울기 기반 역전파를 통한 사진 일치성 손실의 엔드 투 엔드 최적화를 위해 미분 가능 레이 트레이싱을 활용하는 것.

제안 방법

• 반구상에 고정된 N개의 전처리된 영역 조명을 갖춘 파arameterized 가상 조명 스테이지로 시나리오 조명을 모델링하며, 조명 강도를 학습 가능한 파라미터로 사용한다.
• Li 등(2018)의 미분 가능 몬테 카를로 레이 트레이서를 활용하여 렌더링된 픽셀 색상의 기하학, 반사율, 조명 파라미터에 대한 기울기를 계산한다.
• Cook-Torrance BRDF를 사용하여 반사율을 모델링하며, 별도의 확산 및 미세 반사 알베도 성분과 함께 32×32 벡터화된 미세 반사 텍스처 맵을 포함한다.
• 신원(α ∈ ℝ⁸⁰), 표정(β ∈ ℝ⁹⁰), 강성 변환(R, t ∈ ℝ⁶)을 포함한 3D 형태 모델을 통해 얼굴 기하학을 표현한다.
• 데이터 일치성(사진 일치성), 통계적 사전 지식(E_prior), 조명 유속 정규화(E_light)를 조합한 복합 손실을 순차 최적화를 통해 최적화한다.
• 두 단계 최적화 전략을 도입: 먼저 반사율과 그림자를 최적화한 후, 조명과 기하학을 정밀하게 조정하며, 미분 가능 렌더러를 통해 역전파를 수행한다.

실험 결과

연구 질문

• RQ1 미분 가능 레이 트레이싱이 단일 뷰 3D 얼굴 재구성에서 얼굴 기하학, 반사율, 조명을 정확히 분리하는 데 기여할 수 있는가?
• RQ2 자기 그림자와 반사광을 명시적으로 모델링할 경우, 전통적인 라운드 반사율 또는 구면 조화 모델 대비 과포화된 영역에서 재구성 성능이 어떻게 향상되는가?
• RQ3 강한 방향성 조명과 부분적인 가림을 다룰 때, 미분 가능 레이 트레이서가 최적화의 안정성과 정확도를 얼마나 향상시키는가?
• RQ4 물리적으로 정확한 그림자와 반사광을 모델링함으로써, 재조명 및 표정 편집과 같은 실용적 응용을 지원할 수 있는가?
• RQ5 샘플링 노이즈와 피부의 부면 산란을 모델링하지 못하는 점을 고려할 때, 이 방법의 한계는 무엇인가?

주요 결과

• 이 방법은 강한 방향성 조명 조건에서 코와 볼 부위 근처의 정확한 자기 그림자를 포함한 3D 얼굴을 성공적으로 재구성하며, 기하학, 반사율, 조명을 분리한다.
• Cook-Torrance BRDF를 통한 반사광 모델링과 미분 가능 레이 트레이서의 활용으로, 과포화된 픽셀 영역에서 반사광이나 자기 그림자로 인한 비현실적인 기하학 변형을 피할 수 있다.
• 순차 최적화 전략을 통해 반사율과 그림자를 먼저 정밀하게 조정한 후 조명과 기하학을 최적화함으로써 최적화 과정이 안정적으로 수렴한다.
• 재조명 실험을 통해 조명 조건을 변경할 경우 반사광 강도와 그림자가 정확하게 동적으로 업데이트되는 것을 확인하였으며, 렌더링 결과의 물리적 타당성을 입증한다.
• 구면 조화 또는 라운드 반사율 모델을 사용하는 이전 방법들보다 자기 그림자와 반사광을 명시적으로 모델링함으로써, 특히 도전적인 영역에서 더 뛰어난 성능을 보였다.
• 한계점으로는 낮은 레이 트레이서 샘플링 비율에서 노이즈가 발생하고, 피부의 부면 산란을 모델링하지 못함으로써 투명도가 높은 피부 영역에서 현실감이 떨어지는 점이 있다.