[논문 리뷰] Robust 3D face recognition in presence of pose and partial occlusions or missing parts

Parama Bagchi, Debotosh Bhattacharjee외 1명|arXiv (Cornell University)|2014. 08. 16.

Face recognition and analysis참고 문헌 4인용 수 3

한 줄 요약

이 논문은 ICP 기반 정렬, 부위별 깊이 맵 임계값 처리를 통한 망각 영역 탐지, 그리고 주성분 분석 기반 복원을 통해 자세 변화와 부분적 가림을 처리하는 강건한 3D 얼굴 인식 시스템을 제안한다. 이 방법은 Bosphorus 3D 얼굴 데이터베이스에서 91.30%의 인식 정확도를 달성하여 누락된 얼굴 부위에 대한 효과적인 보완과 실생활 조건에서의 가림 및 자세 변화에 의한 성능 향상을 입증한다.

ABSTRACT

In this paper, we propose a robust 3D face recognition system which can handle pose as well as occlusions in real world. The system at first takes as input, a 3D range image, simultaneously registers it using ICP(Iterative Closest Point) algorithm. ICP used in this work, registers facial surfaces to a common model by minimizing distances between a probe model and a gallery model. However the performance of ICP relies heavily on the initial conditions. Hence, it is necessary to provide an initial registration, which will be improved iteratively and finally converge to the best alignment possible. Once the faces are registered, the occlusions are automatically extracted by thresholding the depth map values of the 3D image. After the occluded regions are detected, restoration is done by Principal Component Analysis (PCA). The restored images, after the removal of occlusions, are then fed to the recognition system for classification purpose. Features are extracted from the reconstructed non-occluded face images in the form of face normals. The experimental results which were obtained on the occluded facial images from the Bosphorus 3D face database, illustrate that our occlusion compensation scheme has attained a recognition accuracy of 91.30%.

연구 동기 및 목표

• 실생활 환경에서 자세 변화와 부분적 가림에 강건한 3D 얼굴 인식 시스템을 개발하는 것.
• ICP의 초기 정렬에 대한 민감성을 줄이기 위해 초기 정렬 단계를 통합하는 것.
• 깊이 맵 임계값 처리와 PCA를 활용해 3D 범위 이미지의 가림된 영역을 탐지하고 복원하는 것.
• 특징 추출 이전에 비가림 얼굴 표면을 복원하여 인식 정확도를 향상시키는 것.
• 통제된 가림 및 자세 조건에서 Bosphorus 3D 얼굴 데이터베이스를 이용해 시스템의 강건성을 평가하는 것.

제안 방법

• 시스템은 3D 범위 이미지를 입력으로 받아, 표면 간 거리의 최소화를 위해 프로브 얼굴를 갤러리 모델에 ICP(반복적으로 가장 가까운 점) 알고리즘을 적용하여 정렬한다.
• 초기 정렬 단계를 제공함으로써 ICP 수렴성을 향상시켜 자세 변화가 있을 경우에도 강건한 정렬을 보장한다.
• 가장자리 영역은 깊이 맵 값의 임계값 처리를 통해 탐지되며, 비정상적인 깊이 이격을 보이는 영역을 식별한다.
• 누락된 얼굴 부위는 주성분 분석(PCA)을 사용하여 훈련 데이터셋의 통계적 패턴을 활용해 복원한다.
• 구분 가능한 특징으로 사용하기 위해 복원된 비가림 얼굴 이미지에서 법선을 추출한다.
• 최종 인식 단계에서는 복원된 3D 얼굴 표면에서 유도된 특징을 사용하여 얼굴를 분류한다.

실험 결과

연구 질문

• RQ1 합리적인 초기 정렬 조건이 주어졌을 때, ICP 기반 정렬이 다양한 자세에서 3D 얼굴을 효과적으로 정렬할 수 있는가?
• RQ2 깊이 맵 임계값 처리를 통해 3D 얼굴 스캔에서 가림 영역을 얼마나 정확하게 탐지할 수 있는가?
• RQ3 PCA를 사용해 3D 얼굴 이미지의 누락된 얼굴 부위를 얼마나 높은 정밀도로 복원할 수 있는가?
• RQ4 가림 탐지와 PCA 기반 복원의 조합이 부분적 가림 상황에서 인식 정확도를 향상시키는가?
• RQ5 정규화된 자세와 복원된 가림 영역을 가진 재구성된 얼굴 이미지를 사용할 경우, Bosphorus 3D 얼굴 데이터베이스에서 달성할 수 있는 인식 성능는 어떠한가?

주요 결과

• 제안된 가림 보상 기법은 부분적 가림과 자세 변화 조건에서 Bosphorus 3D 얼굴 데이터베이스에서 91.30%의 인식 정확도를 달성했다.
• 적절한 초기화를 통한 ICP 기반 정렬은 정렬 강건성을 크게 향상시켜 오류 정렬을 감소시켰다.
• 깊이 맵 임계값 처리 방법은 비정상적인 깊이 값 탐지로 인해 효과적으로 가림 영역을 식별했다.
• PCA 기반 복원은 누락된 얼굴 부위를 성공적으로 재구성하였으며, 인식에 필수적인 구조적 세부 정보를 유지했다.
• 재구성된 얼굴 법선에서 추출한 특징는 원시 데이터나 부분적으로 가려진 데이터를 사용할 경우보다 인식 성능을 향상시켰다.
• 시스템은 실생활 조건에서도 뛰어난 강건성을 보였으며, 심한 자세 변화와 가림 상황에서도 높은 정확도를 유지했다.