[논문 리뷰] SelfKin: Self Adjusted Deep Model For Kinship Verification

Eran Dahan, Yosi Keller|arXiv (Cornell University)|2018. 09. 22.

Face recognition and analysis참고 문헌 10인용 수 6

한 줄 요약

이 논문은 신원 레이블에 의존하지 않고 타깃성 검증을 위한 분별성 있는 얼굴 특징을 자동으로 학습하는 자기조정형 딥러닝 모델 SelfKin을 제안한다. 유연한 특징 가중치 레이어와 국소-전역 분류기를 도입함으로써 모델의 파라미터 수를 50% 줄였지만 성능 저하 없이 RFIW2018 챌린지에서 최고 성능을 기록했으며, 신원 정보나 메타데이터 없이 이미지 쌍만 제공되는 엄격한 환경에서도 기존 방법들을 능가한다.

ABSTRACT

One of the unsolved challenges in the field of biometrics and face recognition is Kinship Verification. This problem aims to understand if two people are family-related and how (sisters, brothers, etc.) Solving this problem can give rise to varied tasks and applications. In the area of homeland security (HLS) it is crucial to auto-detect if the person questioned is related to a wanted suspect, In the field of biometrics, kinship-verification can help to discriminate between families by photos and in the field of predicting or fashion it can help to predict an older or younger model of people faces. Lately, and with the advanced deep learning technology, this problem has gained focus from the research community in matters of data and research. In this article, we propose using a Deep Learning approach for solving the Kinship-Verification problem. Further, we offer a novel self-learning deep model, which learns the essential features from different faces. We show that our model wins the Recognize Families In the Wild(RFIW2018,FG2018) challenge and obtains state-of-the-art results. Moreover, we show that our proposed model can reduce the size of the network by half without loss in performance.

연구 동기 및 목표

• 학습 중에 신원 레이블이나 가족 구조 정보가 제공되지 않는 상황에서의 타깃성 검증 문제를 해결하기 위해.
• 기존 이론이나 수작업으로 만든 특징 없이도 타깃성 검증에 적합한 얼굴 특징을 자동으로 학습하는 딥러닝 모델을 개발하기 위해.
• 성능 저하 없이 자기조정형 특징 가중치 메커니즘을 통해 모델 복잡도를 절반으로 줄이기 위해.
• 신원 정보나 메타데이터 없이 이미지 쌍만 제공되는 엄격한 상황에서의 타깃성 검증 성능 향상을 위해.
• 국소-전역 분류기를 도입하여 더 정확한 타깃성 예측을 위한 특징 융합을 향상시키기 위해.

제안 방법

• 모델은 타깃성 검증에 대한 관련성에 따라 얼굴 특징에 동적 가중치를 할당하는 자기조정 레이어를 사용한다.
• 국소-전역 분류기는 두 개의 얼굴 표현에서 유래한 특징을 융합하여 친자 관계와 비친자 관계 간의 분별성을 향상시킨다.
• 특징 임bedding을 타깃성 분류에 최적화하기 위해 트리플릿 유사한 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 자기조정 레이어를 통해 훈련 중에 관련성이 낮은 특징을 제거함으로써 모델 크기를 50% 줄였고, 성능 저하도 최소화했다.
• 특징 추출을 위해 VGG-16 기반 아키텍처를 사용하며, 정규화를 위해 추가로 완전 연결 계층과 드롭아웃을 적용한다.
• 모델은 엄격한 상황에서 훈련 및 평가되며, 신원 태그나 가족 구조 정보에 접근할 수 없이 이미지 쌍만을 사용한다.

실험 결과

연구 질문

• RQ1 신원 레이블이나 사전 이론에 의존하지 않고도 딥러닝 모델이 타깃성 검증에 적합한 얼굴 특징을 자동으로 학습할 수 있는가?
• RQ2 자기조정형 특징 가중치 레이어는 타깃성 검증 성능을 유지하면서 모델 복잡도를 얼마나 줄일 수 있는가?
• RQ3 국소 및 전역 분류의 통합이 타깃성 검증에서 특징 융합을 어떻게 향상시키는가?
• RQ4 제안된 모델은 신원 정보가 없는 엄격한 이미지 제한 환경에서 잘 일반화되는가?
• RQ5 자기조정 레이어를 사용해 정확도 저하 없이 불필요한 특징을 식별하고 제거할 수 있는가?

주요 결과

• SelfKin 모델은 RFIW2018(FG2018) 챌린지에서 최고 성능을 기록했으며, 엄격한 상황에서 대회에서 우승했다.
• 자기조정 레이어 덕분에 모델의 파라미터 수를 50% 줄였고, 전체 모델 대비 평균 성능 저하율은 1%에 불과했다.
• 자기조정 레이어 덕분에 효과적인 특징 프루닝이 가능했으며, 복잡도 감소에도 불구하고 대부분의 타깃성 유형에서 성능을 유지하거나 略로 향상시켰다.
• 모델은 대부분의 타깃성 유형에서 일관된 성능을 보였으며, 데이터 부족으로 인해 미흡하게 표현되는 쌍(예: GFGD, GMGS)에서 성능 저하가 가장 크게 관찰되었다.
• 국소-전역 분류기가 특징 융합을 크게 향상시켜 친자 관계와 비친자 관계 간의 분별성을 향상시켰다.
• 제거 실험을 통해 자기조정 레이어의 효과가 입증되었으며, 레이어가 있는 모델은 레이어가 없는 모델보다 성능이 뛰어났다. 특히 중앙값 기준으로 특징 수를 절반으로 줄여도 동일한 성능을 기록했다.