[논문 리뷰] Deep 3D Face Identification

Donghyun Kim, Matthias Hernandez외 2명|arXiv (Cornell University)|2017. 03. 30.

Face recognition and analysis참고 문헌 34인용 수 6

한 줄 요약

이 논문은 전이 학습과 3D 데이터 증강을 활용하여 대규모 3D 얼굴 데이터셋의 부족을 보완하는 딥 3D 얼굴 식별 방법을 제안한다. 형태 모델과 직교 투영을 통해 생성된 증강된 3D 스캔에 대해 사전 학습된 VGG-Face CNN을 미세 조정함으로써, Bosphorus, BU-3DFE, 3D-TEC 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 효율적이고 확장 가능한 매칭을 구현한다.

ABSTRACT

We propose a novel 3D face recognition algorithm using a deep convolutional neural network (DCNN) and a 3D augmentation technique. The performance of 2D face recognition algorithms has significantly increased by leveraging the representational power of deep neural networks and the use of large-scale labeled training data. As opposed to 2D face recognition, training discriminative deep features for 3D face recognition is very difficult due to the lack of large-scale 3D face datasets. In this paper, we show that transfer learning from a CNN trained on 2D face images can effectively work for 3D face recognition by fine-tuning the CNN with a relatively small number of 3D facial scans. We also propose a 3D face augmentation technique which synthesizes a number of different facial expressions from a single 3D face scan. Our proposed method shows excellent recognition results on Bosphorus, BU-3DFE, and 3D-TEC datasets, without using hand-crafted features. The 3D identification using our deep features also scales well for large databases.

연구 동기 및 목표

• 딥 신경망 학습을 위한 대규모 3D 얼굴 데이터셋의 부족 문제를 해결한다.
• 데이터 부족으로 인한 3D 얼굴 인식을 위한 분류 가능한 깊은 특징 학습의 어려움을 극복한다.
• 깊은 특징을 활용하여 대규모 갤러리 세트에 대한 효율적이고 확장 가능한 3D 얼굴 식별을 가능하게 한다.
• 표정 변화로 인한 클래스 내 분산을 최소화하면서 클래스 간 차이를 최대화한다.
• 단일 3D 스캔에서 다양한 표정을 합성하는 데이터 증강 기법을 개발한다.

제안 방법

• 전이 학습을 활용하여 소규모 3D 얼굴 스캔 세트에 대해 사전 학습된 VGG-Face CNN을 미세 조정한다.
• 다양선형 형태 모델(형태에 대해서는 Basel Face Model, 표정에 대해서는 FaceWarehouse)을 적용하여 증강된 3D 얼굴 데이터를 생성한다.
• 직교 투영 이전에 3D 스캔에 강체 변환(회전 및 이동)을 적용한다.
• 증강 과정 중 3D 스캔에 무작위 패치를 추가하여 가림을 시뮬레이션한다.
• 직교 투영을 사용하여 3D 점군을 2D 평면에 투영하여 2.5D 깊이 맵을 생성하고, 이는 2D CNN과 호환된다.
• 미세 조정된 CNN에서 깊은 특징을 추출하고, PCA 및 정규화 이후 코사인 거리 기반으로 신원 매칭을 수행한다.

실험 결과

연구 질문

• RQ1 2D 얼굴 인식 CNN에서의 전이 학습이 제한된 3D 데이터로 인해 3D 얼굴 인식 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 형태 모델을 활용한 3D 얼굴 증강이 표정 변화에 대한 강건성 향상에 얼마나 효과적인가?
• RQ3 2D에서 학습된 CNN의 깊은 특징가 수작업 기반 기하학적 특징 없이도 3D 얼굴 인식에 일반화 가능한가?
• RQ4 대규모 3D 얼굴 식별에 대해 제안된 방법의 계산 시간과 정확도 측면에서 확장성은 어떻게 되는가?
• RQ5 기본 벤치마크에서 최신 기술 수준의 3D 얼굴 인식 기법과 비교해 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Bosphorus 데이터셋에서 랭크-1 인식 정확도 99.2%를 달성하여 이전 방법들을 능가한다.
• BU-3DFE에서 방법은 랭크-1 정확도 95.0%를 기록하여 도전적인 벤치마크에서 강력한 성능을 보여준다.
• 3D-TEC에서 방법은 케이스 I 및 II에서 94.8%의 랭크-1 정확도를 달성하고, 케이스 III 및 IV에서는 81.3%를 기록하여 표정 변화에 대한 강건성을 입증한다.
• 프로브당 식별에 소요되는 총 계산 시간은 3.25초이며, 특징 추출 및 매칭은 1초 미만으로 이루어져 대규모 갤러리에 대해 효율적이다.
• 효율적인 특징 매칭 덕분에 기존 최신 기술 수준의 방법들과 비교해 유사하거나 더 우수한 성능를 보이며, 확장성 측면에서 크게 뛰어나다.
• 표정 합성과 무작위 가림을 포함한 데이터 증강 기법의 사용은 특히 프로브와 갤러리 간 표정 불일치가 발생하는 경우 일반화 능력을 향상시킨다.