[논문 리뷰] Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition

Konstantinos Papadopoulos, Anis Kacem외 2명|arXiv (Cornell University)|2021. 04. 19.

Face recognition and analysis참고 문헌 35인용 수 7

한 줄 요약

이 논문은 3D 얼굴 랜드마크를 사용하여 비등록 기반의 시공간 그래프 컨볼루션 네트워크인 Face-GCN를 제안한다. 각 랜드마크 주변의 국소적 형태 및 텍스처 특징에서 그래프를 구성하고 ST-GCN를 적용하여 시공간적 모델링을 통합함으로써, 비정적 등록 또는 조밀한 대응이 필요 없이도 BU4DFE 데이터셋에서 어려운 교차 감정 프로토콜 하에서 88.45%의 정확도를 달성하여 강건성을 입증한다.

ABSTRACT

Face identification/recognition has significantly advanced over the past years. However, most of the proposed approaches rely on static RGB frames and on neutral facial expressions. This has two disadvantages. First, important facial shape cues are ignored. Second, facial deformations due to expressions can have an impact on the performance of such a method. In this paper, we propose a novel framework for dynamic 3D face identification/recognition based on facial keypoints. Each dynamic sequence of facial expressions is represented as a spatio-temporal graph, which is constructed using 3D facial landmarks. Each graph node contains local shape and texture features that are extracted from its neighborhood. For the classification/identification of faces, a Spatio-temporal Graph Convolutional Network (ST-GCN) is used. Finally, we evaluate our approach on a challenging dynamic 3D facial expression dataset.

연구 동기 및 목표

• 중성 표정에 의존하고 강성 있는 정렬을 요구하는 기존 정적 3D 얼굴 인식 방법의 한계를 해결하기 위해.
• 3D 얼굴 기하학의 시간적 변화를 모델링하여 실세계 환경에서의 강건성을 향상시키기 위해.
• 3D 얼굴 메쉬 정렬 시 비정적 정렬 및 조밀한 점 대 점 대응이 필요 없도록 하기 위해.
• 통합된 GCN 프레임워크 내에서 국소적 형태 및 텍스처 특징의 효과적인 초기 융합을 통해 신원 식별 능력을 향상시키기 위해.
• 실제적인 교차 감정 평가 프로토콜 하에서 도전적인 동적 3D 얼굴 표정 데이터셋에서 접근 방식을 검증하기 위해.

제안 방법

• 3D 얼굴 정렬 방법을 사용하여 동적 메쉬 시퀀스에서 3D 얼굴 랜드마크를 추출한다.
• 각 랜드마크 주변 200개 점의 국소적 형태 및 텍스처 특징을 추출하여 시공간 그래프의 노드 특징을 형성한다.
• 노드는 시간에 따라 변화하는 랜드마크를 나타내며, 엣지는 공간적 근접성과 시간적 궤적을 인코딩하는 방식으로 시공간 그래프를 구성한다.
• 정규화된 인접 행렬을 사용하여 공간 및 시간 차원을 통해 특징을 전파하는 수정된 시공간 그래프 컨volution 네트워크(ST-GCN)가 그래프 컨볼루션을 수행한다.
• 그래프 컨볼루션 연산은 정규화된 라플라시안 행렬을 사용하여 수식화된다: $\mathbf{f}_{\text{out}} = \mathbf{\Lambda}^{-\frac{1}{2}}(\mathbf{A} + \mathbf{I})\mathbf{\Lambda}^{-\frac{1}{2}}\mathbf{f}_{\text{in}}\mathbf{W}$, 이는 비유클리드 그래프에서 메시지 전달을 가능하게 한다.
• 출력 특징 텐서에 시간적 컨볼루션을 적용하여 랜드마크 특징의 시간적 진화를 모델링한다.

실험 결과

연구 질문

• RQ1 비정적 3D 얼굴 메쉬 정렬이 필요 없이도 그래프 기반 딥 러닝 프레임워크가 동적 3D 얼굴 표정을 효과적으로 모델링할 수 있는가?
• RQ2 랜드마크 수준에서 국소적 형태 및 텍스처 특징을 융합할 경우 동적 3D 얼굴 인식 성능에 어떤 기여를 하는가?
• RQ3 도전적인 동적 3D 얼굴 표정 데이터셋에서 비등록 기반 ST-GCN 접근 방식의 성능은 최신 기술 대비 어떠한가?
• RQ4 인식의 난이도를 높이는 교차 감정 평가 프로토콜이 제안된 방법의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 시공간 그래프 컨볼루션은 표정에 의한 변형으로부터 정체성과 관련된 특징을 정적 또는 외관 중심 방법보다 더 효과적으로 포착할 수 있는가?

주요 결과

• 제안된 Face-GCN 프레임워크는 교차 감정 평가 프로토콜 하에서 BU4DFE 데이터셋에서 평균 인식 정확도 88.45%를 달성하였으며, 이는 표준 프로토콜보다 더 도전적인 조건이다.
• 3DS(99.98%) 및 S3DS(99.92%)와 같은 최신 기술에 비해 절대 정확도는 낮지만, 비정적 정렬이 필요 없어 실세계 구현에 있어 큰 장점이다.
• 프레임워크는 GCN 내부에서 초기 융합을 통해 국소적 형태 및 텍스처 특징을 성공적으로 통합하여, 조밀한 대응이 필요 없이도 분류 능력을 향상시켰다.
• 제거 실험 결과, 형태 및 텍스처 특징 모두 성능 향상에 기여하며, 전체 모델이 제거된 변형보다 우수한 성능을 보였다.
• ST-GCN 아키텍처는 랜드마크 특징의 시간적 동역학을 효과적으로 모델링하여 표정 관련 변형을 정체성 관련 서명으로 포착하였다.
• 결과적으로, 표정의 명시적 중성화 없이도 동적 3D 얼굴 표정 모델링이 효과적일 수 있음을 보여주며, 변형이 정체성과 관련된 정보를 담고 있다는 가설을 뒷받침한다.