[논문 리뷰] Kinship Verification from Videos using Spatio-Temporal Texture Features and Deep Learning

Elhocine Boutellaa, Miguel Bordallo López외 3명|arXiv (Cornell University)|2017. 08. 14.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 영상 기반 유사성 검증 방법을 제안하며, 공간-시간 텍스처 특징(LBP, LPQ, BSIF on Three Orthogonal Planes)과 사전 훈련된 CNN에서 추출한 딥 특징을 사용한다. UvA-NEMO Smile 데이터베이스에서 이러한 특징의 융합은 평균 검증 정확도 90.98%를 달성하여 특정 유사성 유형에서 기존 최고 성능(SOTA) 방법보다 최대 23% 향상시켰다.

ABSTRACT

Automatic kinship verification using facial images is a relatively new and challenging research problem in computer vision. It consists in automatically predicting whether two persons have a biological kin relation by examining their facial attributes. While most of the existing works extract shallow handcrafted features from still face images, we approach this problem from spatio-temporal point of view and explore the use of both shallow texture features and deep features for characterizing faces. Promising results, especially those of deep features, are obtained on the benchmark UvA-NEMO Smile database. Our extensive experiments also show the superiority of using videos over still images, hence pointing out the important role of facial dynamics in kinship verification. Furthermore, the fusion of the two types of features (i.e. shallow spatio-temporal texture features and deep features) shows significant performance improvements compared to state-of-the-art methods.

연구 동기 및 목표

• 정적 이미지 대신 영상 시퀀스를 활용하여 얼굴 운동이 유사성 검증에 미치는 영향을 조사한다.
• 공간-시간 텍스처 특징(LBP, LPQ, BSIF on TOP)이 유사성 관련 얼굴 패턴을 얼마나 잘 포착하는지 탐구한다.
• 사전 훈련된 CNN에서 추출한 딥 특징이 영상 환경에서 유사성 검증에 얼마나 효과적인지 평가한다.
• 얕은 공간-시간 특징과 딥 특징의 후기 융합을 통해 정확도를 향상시킨다.
• 영상 기반 유사성 검증이 이미지 기반 검증보다 우수함을 입증한다.

제안 방법

• 눈의 좌표를 이용한 얼굴 검출, 분할 및 정렬을 통해 영상 프레임 간 얼굴 영역을 표준화한다.
• 영상 시퀀스의 Three Orthogonal Planes(TOP)에서 공간-시간 텍스처 특징(LBP, LPQ, BSIF)을 추출하여 얼굴 운동을 모델링한다.
• 개별 얼굴 프레임에서 사전 훈련된 컨volutional 신경망(CNNs)을 사용해 딥 특징을 추출한다.
• 단순한 덧셈을 통해 스코어 수준에서 공간-시간 특징과 딥 특징을 융합하여 분류 능력을 통합한다.
• 융합된 특징 벡터를 기반으로 서포트 벡터 머신(SVM)을 사용해 유사성 검증을 수행한다.
• 표준 유사성 검증 프로토콜과 ROC 분석을 사용해 UvA-NEMO Smile 영상 데이터베이스에서 평가한다.

실험 결과

연구 질문

• RQ1 정적 이미지 대비 영상 시퀀스를 사용할 경우 유사성 검증 성능이 향상되는가?
• RQ2 공간-시간 텍스처 특징(LBP, LPQ, BSIF on TOP)이 유사성 관련 얼굴 운동을 얼마나 잘 포착하는가?
• RQ3 사전 훈련된 CNN에서 추출한 딥 특징이 영상 기반 유사성 검증에서 수작업 특징을 능가하는가?
• RQ4 얕은 공간-시간 특징과 딥 특징을 융합하면 개별 특징 유형 대비 성능 향상이 뚜렷한가?
• RQ5 나이나 성별의 차이가 큰 경우(예: M-S, F-D) 유사성 유형에 따라 성능은 어떻게 변하는가?

주요 결과

• 영상 기반 유사성 검증은 정적 이미지 기반 방법보다 유의미하게 뛰어나며, 유사성 인식에서 얼굴 운동의 중요성을 입증한다.
• 사전 훈련된 CNN에서 추출한 딥 특징은 UvA-NEMO Smile 전체 데이터셋에서 평균 검증 정확도 89.79%를 달성하여 이전 모든 방법을 능가했다.
• 공간-시간 텍스처 특징과 딥 특징의 융합은 평균 정확도 90.98%를 기록하여 이전 SOTA 대비 18% 이상 향상시켰다.
• 성능 향상이 가장 두드러진 것은 도전적인 유사성 유형에서 관찰되었으며, M-S(4.8% 향상)와 F-D(3.4% 향상)에서 특히 두드러졌다. 이는 성별 및 연령 차이에 대한 강건성을 시사한다.
• M-S 관계 서브셋에서는 제안된 방법이 최고의 이전 방법(Dibeklioglu 등)보다 23% 높은 90.49%의 정확도를 달성했다.
• 정적 이미지 설정에서도 딥 특징이 공간 텍스처 특징과 영상에서 추출한 공간-시간 특징을 모두 능가했으며, 이는 강력한 분류 능력을 보여준다.