[논문 리뷰] 3D Face Recognition: A Survey

Yaping Jing, Xuequan Lu외 1명|arXiv (Cornell University)|2021. 08. 25.

Face recognition and analysis참고 문헌 132인용 수 7

한 줄 요약

이 종합 검토는 지난 10년간의 3차원 얼굴 인식 기술을 종합적으로 분석하며, 전통적인 방법(국소, 전체, 하이브리드)과 딥 러닝 기반 접근법으로 분류한다. 이는 자세, 표정, 가림 등의 주요 과제에 대해 성능, 내성, 복잡성 측면에서 평가하며, 딥 러닝 성공의 핵심 요소로 데이터 증강, 전처리, 손실 함수를 강조하고, 분야 발전을 위해 대규모 3차원 얼굴 데이터베이스가 필요하다고 촉구한다.

ABSTRACT

Face recognition is one of the most studied research topics in the community. In recent years, the research on face recognition has shifted to using 3D facial surfaces, as more discriminating features can be represented by the 3D geometric information. This survey focuses on reviewing the 3D face recognition techniques developed in the past ten years which are generally categorized into conventional methods and deep learning methods. The categorized techniques are evaluated using detailed descriptions of the representative works. The advantages and disadvantages of the techniques are summarized in terms of accuracy, complexity and robustness to face variation (expression, pose and occlusions, etc). The main contribution of this survey is that it comprehensively covers both conventional methods and deep learning methods on 3D face recognition. In addition, a review of available 3D face databases is provided, along with the discussion of future research challenges and directions.

연구 동기 및 목표

• 지난 10년간 개발된 3차원 얼굴 인식 기술에 대한 체계적이고 최신의 검토를 제공하기 위해.
• 자세, 표정, 가림과 같은 변형에 대한 정확도, 복잡성, 내성 측면에서 국소, 전체, 하이브리드 기반의 전통적 방법과 딥 러닝 기반 방법을 비교하기 위해.
• 딥 러닝 기반 3차원 얼굴 인식 성능 향상에 기여하는 데이터 증강, 전처리, 손실 함수의 역할을 분석하기 위해.
• 기존 공개 3차원 얼굴 데이터베이스를 정리하고 평가하며, 데이터 가용성 및 확장성 측면의 격차를 파악하기 위해.
• 실제 적용을 위한 향후 연구 과제를 제시하기 위해, 대규모 3차원 얼굴 데이터베이스 필요성 및 저품질 또는 과도한 조건의 데이터 처리 향상 방법

제안 방법

• 특징 추출 기법에 기반해 3차원 얼굴 인식 방법을 전통적(국소, 전체, 하이브리드) 및 딥 러닝 기반 접근법으로 분류하기.
• 표준 데이터셋에서 성능 비교를 포함한 세부 설명을 바탕으로 각 범주에 속하는 대표적 연구를 검토하기.
• 3차원 형태 모델, 부분 특징 조합, 자세 회전 등을 포함한 3차원 자세 변형 전략을 통해 훈련 데이터 다양성을 높이는 데이터 증강 전략 분석하기.
• ICP 정렬 및 3차원에서 2차원 이미지로의 변환을 포함한 데이터 전처리 기법 평가를 통해 네트워크 입력 품질 향상하기.
• VGGNet, ResNet, MobileNetV2, PointNet++와 같은 딥 신경망 아키텍처를 검토하고, 3차원 얼굴 인식에 적합하게 변형한 사례 분석하기.
• 딥 러닝 파이프라인에서 특징 학습 및 모델 일반화에 영향을 주는 손실 함수(예: 다중 손실 함수)의 영향 조사하기.

실험 결과

연구 질문

• RQ1 국소, 전체, 하이브리드 기반의 전통적 3차원 얼굴 인식 방법은 자세, 표정, 가림에 대한 정확도, 계산 비용, 내성 측면에서 어떻게 비교되는가?
• RQ2 딥 러닝 기반 3차원 얼굴 인식 방법은 전통적 기법에 비해 어떤 주요 장점과 한계를 지니는가?
• RQ3 데이터 증강, 전처리, 손실 함수는 딥 러닝 모델의 3차원 얼굴 인식 성능에 어떻게 영향을 미치는가?
• RQ4 기존 3차원 얼굴 데이터베이스의 현재 문제점은 무엇이며, 이는 견고한 인식 시스템 개발을 어떻게 제한하는가?
• RQ5 실제 적용을 위한 향후 연구 방향 중 가장 중요한 것은 무엇인가?

주요 결과

• 국소 특징 기반 방법은 표정 변화와 가림에 대해 더 뛰어난 내성 보여주지만, 전체 방법보다 높은 계산 비용이 수반된다.
• 국소 및 전반적 특징을 조합하는 하이브리드 방법은 자세 변화, 조명 변화, 표정 변화를 효과적으로 다루며 뛰어난 성능 달성한다.
• 딥 러닝 기반 방법은 특히 VGG, ResNet 및 경량 컨볼루션 신경망(MobileNetV2)을 사용할 경우 기존 기법 대비 인식 정확도가 크게 향상된다.
• 3차원 형태 모델과 자세 변화 생성을 통한 효과적인 데이터 증강은 과적합을 방지하고 딥 러닝 파이프라인에서 모델 일반화 능력을 향상시킨다.
• 부족한 대규모 3차원 얼굴 데이터베이스가 여전히 주요 장애물이며, 대부분의 딥 러닝 방법이 사전 훈련된 네트워크의 미세조정에 의존하고 있어, 초기 훈련이 어려운 상황이다.
• 다중 손실 함수의 사용은 특징 학습을 향상시키고 훈련 복잡성을 감소시켜 모델 성능 향상과 수렴 속도 향상에 기여한다.