[논문 리뷰] Finding Missing Children: Aging Deep Face Features

Debayan Deb, Divyansh Aggarwal외 1명|arXiv (Cornell University)|2019. 11. 18.

Face recognition and analysis참고 문헌 43인용 수 12

한 줄 요약

이 논문은 상용 얼굴 매칭기의 깊이 있는 얼굴 특징을 연령 변화에 따라 변형시켜 실종 아동의 종단적 얼굴 인식 성능을 향상시키기 위한 새로운 연령 진행 모듈을 제안한다. 정체성 유지 특징을 연령 관련 변화에 따라 학습함으로써, 이 방법은 ITWCC 및 FG-NET 데이터셋에서 10년 이상의 시간 간격이 있는 어린이에서 성인으로의 매칭 작업에서 순위 1 식별 정확도를 최대 9.56% 향상시킨다. 이는 장기 실종 아동의 회복 가능성을 크게 높인다.

ABSTRACT

Given a gallery of face images of missing children, state-of-the-art face recognition systems fall short in identifying a child (probe) recovered at a later age. We propose an age-progression module that can age-progress deep face features output by any commodity face matcher. For time lapses larger than 10 years (the missing child is found after 10 or more years), the proposed age-progression module improves the closed-set identification accuracy of FaceNet from 40% to 49.56% and CosFace from 56.88% to 61.25% on a child celebrity dataset, namely ITWCC. The proposed method also outperforms state-of-the-art approaches with a rank-1 identification rate from 94.91% to 95.91% on a public aging dataset, FG-NET, and from 99.50% to 99.58% on CACD-VS. These results suggest that aging face features enhances the ability to identify young children who are possible victims of child trafficking or abduction.

연구 동기 및 목표

• 장기간의 시간 간격으로 인해 얼굴 인식 시스템이 연령에 따른 얼굴 변화로 인해 실패하는 실종 아동 식별의 핵심 과제를 해결하기 위해.
• 어린이 얼굴을 큰 연령 격차가 있는 경우에도 상용 얼굴 매칭기의 종단적 성능을 향상시키기 위해.
• 기본 얼굴 매칭기를 재학습할 필요 없이, 사전 훈련된 얼굴 매칭기의 특징을 연령 진행시키는 즉시 사용 가능한 모듈을 개발하기 위해.
• 실종 아동의 유괴 및 납치 사건에 실질적인 적용 가능성을 높이기 위해, 실종 아동 검색 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 사전 훈련된 얼굴 매칭기의 깊이 있는 얼굴 특징을 연령 변화 효과를 시뮬레이션하도록 변형시키는 학습 가능한 연령 진행 모듈을 도입한다.
• 이 모듈은 잠재 특징 공간에서 작동하여 정체성을 유지하면서도 얼굴 구조, 피부 질감, 주름 등의 연령 관련 특징을 진전시킨다.
• 정체성 유지 정확도를 유지하기 위해 콘텐츠-정체성 손실와 인지 손실를 사용하는 조건부 오토인코더 기반 아키텍처를 사용한다.
• 비교 연령 얼굴 데이터셋에서 훈련되어, 프로브에 명시적인 연령 레이블 없이도 다양한 연령 범위로 일반화할 수 있다.
• 디코더는 변형된 특징에서 연령 진행된 얼굴 이미지를 생성하며, 이는 갤러리에서의 매칭 성능 향상에 사용된다.
• 이 방법은 기본 얼굴 매칭기와 독립적이므로 FaceNet, CosFace 및 상용 오프더쇼프트(COTS) 시스템과의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 장기간의 시간 간격이 있는 실종 아동 사례에서 깊이 있는 얼굴 특징을 효과적으로 연령 진행시켜 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 얼굴 특징의 연령 진행이 최신 기술 기반 얼굴 매칭기의 어린이에서 성인으로의 매칭 작업에서 순위 1 식별 정확도에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 특징에서 작동하는 래퍼 모듈이 종단형 연령에 강인한 인식 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ4 제안된 방법이 큰 연령 격차가 있는 실제 실종 아동 사례에서 검색 성능을 얼마나 향상시키는가?
• RQ5 이 방법은 재학습 없이도 다양한 얼굴 매칭기와 데이터셋에 일반화되는가?

주요 결과

• 제안된 방법은 ITWCC 데이터셋에서 10년 이상의 시간 간격이 있는 경우 FaceNet의 순위 1 식별 정확도를 40.00%에서 49.56%로 향상시켰다.
• CosFace는 ITWCC에서 순위 1 정확도를 56.88%에서 61.25%로 상승시켜 장기적 어린이 인식에서 뚜렷한 성과를 보였다.
• FG-NET 연령 변화 데이터셋에서 CosFace의 순위 1 정확도는 94.91%에서 95.91%로 향상되어 이전 최고 성능 기술을 능가했다.
• 실제 사례 연구에서, CosFace에 연령 진행 모듈을 적용한 결과, 칼리나 웨이트의 이미지를 순위 268에 검색했고, 그렇지 않은 경우는 순위 1,242에 머물렀다. 이는 검색 공간을 크게 좁혔다.
• 리처드 웨이드 랜더스의 경우, 5세 때의 이미지를 순위 23에서 순위 1로 향상시켜 최상위 순위에서 정확한 식별을 달성했다.
• 이 방법은 정체성을 유지하면서 주름과 머리 크기 증가 등의 연령 변화 효과를 추가한 현실적인 연령 진행된 얼굴 이미지를 성공적으로 생성했으며, 정성적 시각화 결과로 검증되었다.