[논문 리뷰] Deep and Shallow Covariance Feature Quantization for 3D Facial Expression Recognition

Walid Hariri, Nadir Farah외 1명|arXiv (Cornell University)|2021. 05. 12.

Face and Expression Recognition참고 문헌 54인용 수 4

한 줄 요약

이 논문은 3D 얼굴 스캔과 그 2D 투영에서 추출한 깊이 및 浅층 특징에서 유도된 공분산 특징 양자화를 이용한 새로운 3D 얼굴 표정 인식 방법을 제안한다. 깊이 특징은 CNN을 활용하고, 얕은 특징은 기하학적 기술자들을 사용하며, 공분산 행렬 학습과 Bag-of-Features 양자화를 적용함으로써 BU-3DFE 및 Bosphorus 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 복합 코드북을 사용하여 Bosphorus에서 93.30%의 인식률을 기록하였다.

ABSTRACT

Facial expressions recognition (FER) of 3D face scans has received a significant amount of attention in recent years. Most of the facial expression recognition methods have been proposed using mainly 2D images. These methods suffer from several issues like illumination changes and pose variations. Moreover, 2D mapping from 3D images may lack some geometric and topological characteristics of the face. Hence, to overcome this problem, a multi-modal 2D + 3D feature-based method is proposed. We extract shallow features from the 3D images, and deep features using Convolutional Neural Networks (CNN) from the transformed 2D images. Combining these features into a compact representation uses covariance matrices as descriptors for both features instead of single-handedly descriptors. A covariance matrix learning is used as a manifold layer to reduce the deep covariance matrices size and enhance their discrimination power while preserving their manifold structure. We then use the Bag-of-Features (BoF) paradigm to quantize the covariance matrices after flattening. Accordingly, we obtained two codebooks using shallow and deep features. The global codebook is then used to feed an SVM classifier. High classification performances have been achieved on the BU-3DFE and Bosphorus datasets compared to the state-of-the-art methods.

연구 동기 및 목표

• 조명 및 자세 변화에 민감한 2D 기반 표정 인식의 한계를 3D 기하학적 데이터를 활용하여 해결하고자 한다.
• CNN에서 유도한 깊이 특징과 3D 스캔에서 유도한 얕은 기하학적 특징을 융합하여 3D FER의 특징 표현을 향상시키고자 한다.
• 공분산 행렬 학습을 통해 특징 기술자의 분류 능력을 향상시키고 다양체 구조를 유지하고자 한다.
• Bag-of-Features(BoF) 파라다임을 이용해 깊이 및 얕은 공분산 행렬을 양자화하여 강건한 분류를 구현하고자 한다.
• 다중 모odal 2D+3D 특징 융합 전략을 통해 기존 최신 기술 수준의 방법들을 초월하는 성능을 확보하고자 한다.

제안 방법

• 3D 얼굴 스캔에서 기하학적 기술자(예: 곡률 및 법선 성분)를 사용하여 얕은 특징을 직접 추출한다.
• 3D 스캔에서 유도된 2D 투영(예: 깊이 맵 및 법선 맵)에 사전 훈련된 CNN(VGG-16 및 AlexNet)을 적용하여 깊이 특징을 생성한다.
• 얕은 특징과 깊이 특징을 모두 공분산 행렬로 표현하여 통계적 관계를 캡처하고 리만 기하학적 구조를 유지한다.
• 깊이 공분산 행렬 학습을 통해 차원 감소, 분류 능력 향상, 공분산 기술자의 다양체 성질 유지를 달성한다.
• 학습된 깊이 및 얕은 공분산 행렬을 평탄화하고, 각 모odal에 대해 별도의 코드북을 생성하기 위해 Bag-of-Features(BoF) 파라다임을 적용한다.
• 깊이 및 얕은 코드북을 융합하여 글로벌 특징 벡터를 생성하고, 다중 클래스 SVM을 사용하여 표정을 분류한다.

실험 결과

연구 질문

• RQ1 2D 및 3D 모odal에서 유도된 깊이 및 얕은 특징을 융합함으로써 3D 얼굴 표정 인식 성능을 향상시킬 수 있는가?
• RQ2 특징의 공분산 행렬 표현이 3D FER에서 기하학적 구조를 유지하면서 분류 능력을 향상시키는가?
• RQ3 깊이 공분산 행렬 학습이 분류 능력을 잃지 않으면서도 차원 감소와 특징의 밀도 향상에 효과적으로 기여하는가?
• RQ4 공분산 행렬의 BoF 기반 양자화가 단일 모달 또는 비양자화된 접근 방식보다 분류 성능을 향상시키는가?
• RQ5 기본 기준 데이터셋에서 제안된 방법이 최신 기술 수준의 3D FER 방법들과 비교해 정확도 및 강건성 측면에서 뛰어나게 성능을 내는가?

주요 결과

• 제안된 방법은 Bosphorus 데이터셋에서 93.30%의 분류 정확도를 기록하여 Ramya 등(87.69%)의 최신 기술 수준 방법을 초월하였다.
• 깊이 코드북만으로도 얕은 코드북보다 높은 정확도를 달성하여 깊이 특징의 뛰어난 분류 능력을 시사한다.
• 깊이 및 얕은 코드북의 융합은 깊이 코드북만 사용하는 것보다 더 높은 성능을 보이며, 다중 모달 특징 융합의 상호보완적 이점을 입증한다.
• 공분산 행렬 학습은 깊이 공분산 행렬의 크기를 효과적으로 감소시키며, 분류 능력을 향상시키고 리만 기하학적 구조를 유지하는 데 기여하였다.
• BoF 파라다임은 공분산 기술자의 양자화에 효과적이었으며, 전통적 분류기(SVM 등)의 효율적 활용을 가능하게 하였다.
• 이 방법은 BU-3DFE 및 Bosphorus 데이터셋 모두에서 강력한 일반화 능력과 강건성을 보이며, 3D 얼굴 표정 인식에 효과적임을 확인하였다.