[논문 리뷰] Tri-Subject Kinship Verification: Understanding the Core of A Family

Xiaoqian Qin, Xiaoyang Tan외 1명|arXiv (Cornell University)|2015. 01. 12.

Face recognition and analysis참고 문헌 23인용 수 10

한 줄 요약

이 논문은 상대 대칭 이차형 모델(RSBM)과 공간적으로 투표된 특징 선택을 사용하여 자식과 양 부모 간의 관계를 모델링하는 새로운 삼자녀 친족 확인 프레임워크를 제안한다. 이 방법은 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 1,000개가 넘는 가족 트리플릿을 포함한 새로 공개된 데이터셋에서도 기존의 one-versus-one 방법보다 뚜렷하게 뛰어난 성능을 보였다. 특히 두 부모의 이미지가 모두 이용 가능한 경우에 두드러진 성능 향상을 보였다.

ABSTRACT

One major challenge in computer vision is to go beyond the modeling of individual objects and to investigate the bi- (one-versus-one) or tri- (one-versus-two) relationship among multiple visual entities, answering such questions as whether a child in a photo belongs to given parents. The child-parents relationship plays a core role in a family and understanding such kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in the human world. In this work, we tackle the problem of one-versus-two (tri-subject) kinship verification and our contributions are three folds: 1) a novel relative symmetric bilinear model (RSBM) introduced to model the similarity between the child and the parents, by incorporating the prior knowledge that a child may resemble a particular parent more than the other; 2) a spatially voted method for feature selection, which jointly selects the most discriminative features for the child-parents pair, while taking local spatial information into account; 3) a large scale tri-subject kinship database characterized by over 1,000 child-parents families. Extensive experiments on KinFaceW, Family101 and our newly released kinship database show that the proposed method outperforms several previous state of the art methods, while could also be used to significantly boost the performance of one-versus-one kinship verification when the information about both parents are available.

연구 동기 및 목표

• 자식이 양 부모와 동시에 관계를 갖는 삼자녀(한 명 대 양 명) 친족 확인 문제에 대해 아직 탐색이 부족한 문제를 해결하기 위해.
• 일대일 접근 방식보다 자식과 두 부모 간의 유전적 및 시각적 종속성을 더 효과적으로 모델링하기 위해.
• 지역적 공간적 구조를 유지하면서도 분류 능력을 극대화하는 특징 선택 방법을 개발하기 위해.
• 엄격한 평가를 지원하기 위해 대규모이고 고품질의 삼자녀 친족 데이터베이스를 구축하기 위해.
• 두 부모의 이미지를 통합함으로써 일대일 방법을 초월하여 친족 확인 성능 향상이 이루어지는지 확인하기 위해.

제안 방법

• 자식이 각 부모와 얼마나 상대적으로 유사한지를 모델링하는 상대 대칭 이차형 모델(RSBM)을 도입하여, 자식이 한 부모에게 더 많은 유전적 유사성을 가질 수 있다는 사전 지식를 통합한다.
• 데이터로부터 학습된 공분산 유사 행렬을 사용하여 자식과 부모 쌍 간의 유사성을 이차형 방식으로 모델링한다.
• 공간적 영역을 기반으로 분류 능력을 고려하여 특징을 선택하는 공간적으로 투표된 특징 선택 방법을 제안하여 정확도와 강인성을 향상시킨다.
• 결정 단계에서 다중 특징(SIFT, C-SVDD, TPLBP)을 융합하여 성능을 향상시키며, M-NUAA 버전이 최상의 성능을 기록하였다.
• 자식과 부모 특징 간의 상호작용을 명시적으로 모델링하는 이차형 유사도 함수를 사용하여 공동 종속성을 포착한다.
• 기존 일대일 친족 확인 방법에 적응하여, 두 부모의 이미지가 모두 이용 가능한 경우 성능 향상을 이끌어내는 프레임워크로 확장하였다.

실험 결과

연구 질문

• RQ1 자식이 각 부모와 상대적으로 얼마나 유사한지를 모델링하는 것이 표준 일대일 방법에 비해 친족 확인 정확도 향상에 기여하는가?
• RQ2 공간적으로 국소화된 특징을 어떻게 함께 선택하여 삼자녀 친족 확인에서 최대의 분류 능력을 극대화할 수 있는가?
• RQ3 두 부모의 정보를 통합하면 한 명의 부모만 사용할 경우에 비해 성능 향상이 뚜렷한가?
• RQ4 기존 일대일 방법을 삼자녀 확인으로 확장할 수 있는 통합 프레임워크를 설계할 수 있는가? 이는 강인성 향상과 함께 가능한가?
• RQ5 유전적 유사성에 대한 사전 지식이 친족 확인 시스템의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 M-NUAA 방법은 SIFT 특징만을 사용하는 방법들 중에서 KinFaceW-I 데이터셋에서 평균 정확도 86.74%를 기록하여 3위를 차지하였다.
• 다중 특징 융합(SIFT, C-SVDD, TPLBP)을 통해 KinFaceW-II 데이터셋에서 평균 정확도 86.45%를 달성하였으며, 이는 모든 기존 최신 기술 수준 방법을 초월하였다.
• RSBM 모델은 상대적 유사성에 대한 사전 지식를 효과적으로 통합하여 삼자녀 확인에서 강인성과 정확도를 향상시켰다.
• 공간적으로 투표된 특징 선택 방법은 지역적 공간적 구조를 유지함으로써 전통적인 그룹 기반 방법(예: 그룹 라소)보다 우수한 성능을 보였다.
• 두 부모의 이미지가 모두 이용 가능한 경우, 일대일 친족 확인의 성능을 크게 향상시켜 실용적 유용성을 입증하였다.
• 1,000개가 넘는 자녀-부모 가족을 포함한 새로 공개된 친족 데이터베이스는 향후 삼자녀 친족 확인 연구를 위한 귀중한 벤치마크를 제공한다.