[논문 리뷰] Superimposition-guided Facial Reconstruction from Skull

Celong Liu, Xin Li|arXiv (Cornell University)|2018. 09. 28.

Face recognition and analysis참고 문헌 10인용 수 5

한 줄 요약

이 논문은 영상 데이터베이스에서 얼굴 후보를 생성하고, 뼈대-얼굴 겹침을 통해 최적의 매칭을 선별하며, 제약 조건이 부여된 생성형 보정을 통해 얼굴을 정밀하게 보정하는 새로운 뼈대 유도 얼굴 복원 파이프라인을 제안한다. 이 방법은 CT 유도 뼈대-얼굴 쌍에서 높은 정확도(평균 오차 2.3–2.7mm)를 달성하며, 기하학적 지침을 통한 보정으로 불확실성을 줄임으로써 직접 영상 기반 복원 방식보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We develop a new algorithm to perform facial reconstruction from a given skull. This technique has forensic application in helping the identification of skeletal remains when other information is unavailable. Unlike most existing strategies that directly reconstruct the face from the skull, we utilize a database of portrait photos to create many face candidates, then perform a superimposition to get a well matched face, and then revise it according to the superimposition. To support this pipeline, we build an effective autoencoder for image-based facial reconstruction, and a generative model for constrained face inpainting. Our experiments have demonstrated that the proposed pipeline is stable and accurate.

연구 동기 및 목표

• 직접 뼈대에서 얼굴을 복원하는 데 있어 조직 두께 제약이 제한적인 이유로 인해 발생하는 불완전한 문제 성격을 해결하기 위해.
• 수동적인 점토 모델링을 데이터 기반의 자동화된 파이프라인으로 대체함으로써 법의학적 얼굴 복원의 주관성과 불안정성을 줄이기 위해.
• 영상 기반 얼굴 후보와 뼈대-겹침을 활용해 기하학적 보정을 유도함으로써 복원 정확도를 향상시키기 위해.
• 얼굴의 현실감을 유지하면서도 뼈대 해부학에 맞게 조정되는 제약 조건이 부여된 생성 모델을 개발하기 위해.

제안 방법

• 포트레이트 사진 데이터베이스에서 훈련된 통합 얼굴 오토인코더를 사용해 다수의 3차원 얼굴 후보를 생성한다.
• 지표 기반 정렬을 통해 각 후보 얼굴을 쿼리 뼈대로 정렬하고 매칭 가능성 점수를 계산함으로써 뼈대-얼굴 겹침을 수행한다.
• 기하학적 일관성과 정렬 지표를 기반으로 겹침 결과에 따라 최상의 매칭 얼굴 후보를 선별한다.
• 선택된 얼굴에 기하학적 제약 조건이 부여된 생성형 얼굴 보정 모델을 적용하여 뼈대 제약 조건에 따라 해부학적 정확도를 향상시킨다.
• 잠재 공간에 기하학적 손실 항목을 도입하여 생성 모델의 탐색 범위를 전반적으로 현실적인 얼굴 형태로 제한함으로써 뼈대에 맞는 형태를 확보한다.
• 3차원 생성 모델 훈련의 어려움으로 인해 3차원 기하 보정을 영상 수준 보정으로 변환한 후 再구조화하는 방식을 채택한다.

실험 결과

연구 질문

• RQ1 직접 기하학적 변형 방식과 비교할 때, 데이터 기반 영상 기반 얼굴 복원 파이프라인은 뼈대 기반 얼굴 복원의 불확실성을 줄이고 정확도를 향상시킬 수 있는가?
• RQ2 다양한 영상 생성 얼굴 후보 중에서 뼈대-얼굴 겹침을 얼마나 효과적으로 활용해 가장 타당한 얼굴 후보를 선별할 수 있는가?
• RQ3 제약 조건이 부여된 생성형 얼굴 보정이 얼굴 기하학을 뼈대 해부학에 더 잘 맞추면서도 얼굴의 현실감을 유지하는 데 얼마나 효과적인가?
• RQ4 기하학적 정확도 측면에서 제안된 파이프라인은 기준 영상 기반 복원 방법과 비교해 어떤 성능을 보이는가?
• RQ5 입력 영상의 품질이 열 劣하거나 표정이 극단적이거나 가림이 있는 경우, 시스템의 실패 모드는 어떠한가?

주요 결과

• 제안된 파이프라인은 CT 유도 뼈대-얼굴 쌍 중 하나에서 평균 복원 오차 2.7mm, 다른 하나에서는 2.3mm를 기록하며, 직접 영상 기반 복원 방식보다 뚜렷이 낮은 오차를 보였다.
• 초기 얼굴 후보의 종류에 관계없이 안정적이고 정확한 얼굴 복원을 생성함으로써 입력 변동에 대한 강건성을 입증했다.
• 제약 조건이 부여된 생성형 보정 모델이 기하학적 구조를 효과적으로 뼈대에 맞추어 보정하여, 색상 인코딩 오차 지도에서의 편차가 감소한 것으로 확인되었다.
• 실패 케이스는 주로 입력 영상에 극단적인 표정이나 가림이 있는 경우 발생하며, 이로 인해 정확한 지표점 검출이 어려워지고 이후 기하학적 아티팩트가 발생한다.
• 나쁜 시점 각도 또는 지표점 누락이 있는 영상에서는 시스템의 성능이 떨어지며, 이는 오토인코더가 정확한 지표점 검출에 의존하기 때문이다.
• 현재 2D에서 3D로의 보정 파이프라인은 한계점으로 작용한다; 향후 작업은 직접 3차원 생성 모델 개발을 목표로 하지만, 대규모 3차원 얼굴 데이터셋과 아키텍처 확보가 여전히 과제로 남아 있다.