[논문 리뷰] Multilinear Wavelets: A Statistical Shape Space for Human Faces

Alan Brunton, Timo Bolkart외 1명|arXiv (Cornell University)|2014. 01. 13.

Face recognition and analysis참고 문헌 13인용 수 7

한 줄 요약

이 논문은 3D 인간 얼굴의 표면 기하학을 웨이브렛 변환을 통해 분해함으로써 국소적이고 상관없는 다중선형 분석을 가능하게 하는 다중선형 웨이브렛 기반 통계적 형태 모델을 제안한다. 이 방법은 노이즈가 많거나 가림이 있거나 불완전한 스캔에서도 고해상도의 얼굴 세부 정보를 강건하게 복원하며, 전역 및 국소적 PCA 모델보다 세부 정보 유지, 속도, 오염에 대한 강건성 측면에서 뛰어나면서도 계산 효율성을 유지한다.

ABSTRACT

We present a statistical model for $3$D human faces in varying expression, which decomposes the surface of the face using a wavelet transform, and learns many localized, decorrelated multilinear models on the resulting coefficients. Using this model we are able to reconstruct faces from noisy and occluded $3$D face scans, and facial motion sequences. Accurate reconstruction of face shape is important for applications such as tele-presence and gaming. The localized and multi-scale nature of our model allows for recovery of fine-scale detail while retaining robustness to severe noise and occlusion, and is computationally efficient and scalable. We validate these properties experimentally on challenging data in the form of static scans and motion sequences. We show that in comparison to a global multilinear model, our model better preserves fine detail and is computationally faster, while in comparison to a localized PCA model, our model better handles variation in expression, is faster, and allows us to fix identity parameters for a given subject.

연구 동기 및 목표

• 노이즈 및 가림에 강건하면서도 미세한 기하학적 세부 정보를 포착할 수 있는 3D 인간 얼굴을 위한 통계적 형태 모델을 개발하는 것.
• 전역 다중선형 모델과 국소적 PCA 모델이 표현 변화와 데이터 오염을 다루는 데 한계가 있음을 해결하는 것.
• 다양한 출처에서 온 불완전하거나 손상된 스캔에 대해 효율적이고 확장 가능하며 강건한 3D 얼굴 형태 피팅을 가능하게 하는 것.
• 수동 세분화나 부분 기반 레이블링이 필요 없이 잘 일반화되는 모델을 만드는 것.
• 효율적인 계산을 통해 실시간 응용 분야(예: 얼굴 동작 추적, 원격 상담)를 지원하는 것.

제안 방법

• 3D 얼굴 표면 기하학을 국소적이고 상관없는 계수로 다중 스케일에서 분해하기 위해 웨이브렛 변환을 적용한다.
• 각 웨이브렛 계수 서브밴드에 대해 독립적으로 다중선형 모델을 학습함으로써 형태 변화의 저차원적이고 상관없는 모델링을 가능하게 한다.
• 다중선형 분석을 통해 신원과 표현 성분을 분리하여, 각 주제별 고정된 신원 파rameter를 허용한다.
• 통계적 구속 조건을 파rameter에 적용한 최적화를 통해 피팅을 수행함으로써 손상된 입력 데이터에 대한 강건성을 향상시킨다.
• 3D 운동 시퀀스로 알고리즘을 확장하기 위해 각 프레임에서 표현 가중치를 최적화함으로써 자동 추적을 가능하게 한다.
• 명시적 세분화를 피하고 텍스처 및 기타 모odalities로의 확장도 지원한다.

실험 결과

연구 질문

• RQ1 웨이브렛 기반 분해가 심각한 데이터 오염 상황에서 3D 얼굴 형태 모델의 강건성과 세부 정보 유지에 개선을 이끌 수 있는가?
• RQ2 웨이브렛 계수에 대한 국소적 다중선형 모델링이 전역 다중선형 또는 국소적 PCA 모델 대비 피팅 정확도와 계산 효율성에서 어떻게 비교되는가?
• RQ3 노이즈와 가림 상황에서도 미세한 얼굴 기하학적 특징(예: 코와 입의 형태)을 어느 정도 유지할 수 있는가?
• RQ4 모델을 동적 얼굴 운동 시퀀스 추적에 효율적으로 확장할 수 있는가?
• RQ5 저차원의 상관없는 서브모델을 사용함으로써 과적합을 줄이고 고차원 전역 모델 대비 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 모델은 표현 변화가 있는 경우에도 전역 다중선형 모델이나 국소적 PCA 모델보다 코와 입의 형태와 같은 미세한 얼굴 세부 정보를 더 정확하게 복원한다.
• Bosphorus 데이터셋에서 가림이 있는 경우, 전역 다중선형 모델과 국소적 PCA 모델보다 불투명 영역에서 누적 오차가 더 낮게 기록되었다.
• 단일 스레드 CPU를 사용해 단일 3D 스캔에 피팅하는 데 몇 초 밖에 걸리지 않으며, 수천 개의 얼굴에 대한 학습도 몇 분 내로 완료된다.
• 저차원 웨이브렛 계수 모델에 통계적 구속 조건을 적용함으로써 노이즈 및 가림에 강건해지며 과적합 위험을 줄인다.
• 피팅 알고리즘의 단순한 확장이 동적 3D 얼굴 추적을 안정적이고 자동으로 가능하게 하였으며, BU4DFE 시퀀스에서 검증되었다.
• 부드러움 에너지 정규화를 통해 격자 아티팩트를 방지하고, 이전 모델보다 비대칭성(예: 공포 표정 시 눈썹 영역)을 더 잘 유지한다.