[논문 리뷰] Challenge report: Recognizing Families In the Wild Data Challenge

Zhipeng Luo, Zhiguang Zhang외 2명|arXiv (Cornell University)|2020. 05. 30.

Demographic Trends and Gender Preferences참고 문헌 9인용 수 5

한 줄 요약

이 논문은 깊이 미터러닝과 이진 분류를 이용한 대칭 시아노이즈 네트워크를 사용하여 제약 없는 실세계 이미지에서 자녀 관계를 자동으로 인식하는 방법을 제시한다. 고해상도 입력과 적극적인 음성 샘플링을 활용함으로써 저자들은 Recognizing Families In the Wild (RFIW) 2020 도전 대회에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였으며, 향상된 특징 임bedding과 분류 정확도를 통해 이를 실현하였다.

ABSTRACT

This paper is a brief report to our submission to the Recognizing Families In the Wild Data Challenge (4th Edition), in conjunction with FG 2020 Forum. Automatic kinship recognition has attracted many researchers' attention for its full application, but it is still a very challenging task because of the limited information that can be used to determine whether a pair of faces are blood relatives or not. In this paper, we studied previous methods and proposed our method. We try many methods, like deep metric learning-based, to extract deep embedding feature for every image, then determine if they are blood relatives by Euclidean distance or method based on classes. Finally, we find some tricks like sampling more negative samples and high resolution that can help get better performance. Moreover, we proposed a symmetric network with a binary classification based method to get our best score in all tasks.

연구 동기 및 목표

• 시각적 단서가 제한적이고 변동성이 큰 제약 없는 실세계 이미지에서 가족 관계를 인식하는 데 도전하는 것.
• 깊이 특징 임bedding과 효과적인 학습 전략을 활용하여 자동 자녀 관계 인식 성능을 향상시키는 것.
• 데이터 증강, 해상도, 샘플링 기법이 모델 일반화 및 정확도에 미치는 영향을 탐색하는 것.
• 쌍별 얼굴 비교에 최적화된 강력하고 대칭적인 네트워크 아키텍처를 개발하는 것.

제안 방법

• 얼굴 이미지에서 고수준의 깊이 임bedding 특징을 추출하기 위해 깊이 미터러닝을 활용하였다.
• 학습된 임bedding을 사용하여 쌍별 얼굴을 비교하기 위해 대칭 시아노이즈 신경망 아키텍처를 설계하였다.
• 임bed딩 유사도 기반으로 친족 관계와 비친족 관계 쌍을 구분하기 위해 이진 분류 손실을 사용하였다.
• 데이터 증강 기법을 적용하여 고해상도 이미지 입력과 학습 중 증가된 음성 샘플링을 구현하였다.
• 임베딩 간의 친족과 비친족 쌍 간 분리도 향상시키기 위해 대trix 손실과 콘트라스트 손실 변형을 최적화하였다.
• RFIW 테스트 세트에서 유클리드 거리와 분류 임계값을 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 깊이 특징 추출 방법이 제약 없는 환경에서 자녀 관계 인식 성능에 미치는 영향은 무엇인가?
• RQ2 고해상도 입력과 음성 샘플링이 자녀 관계 인식에서 모델 일반화에 미치는 영향은 무엇인가?
• RQ3 이진 분류를 갖는 대칭 시아노이즈 네트워크가 RFIW 벤치마크에서 기존 메트릭 러닝 접근법을 능가할 수 있는가?
• RQ4 손실 함수 선택과 샘플링 비율과 같은 학습 전략이 최종 정확도에 미치는 영향은 무엇인가?

주요 결과

• 이진 분류를 갖는 대칭 시아노이즈 네트워크가 RFIW 2020 도전 대회 전반적인 모든 과제에서 최고의 성능을 기록하였다.
• 고해상도 입력 이미지가 특징 표현과 모델 정확도에 크게 기여하였다.
• 학습 중 적극적인 음성 샘플링이 친족과 비친족 쌍 간의 구분 능력을 향상시켰다.
• 깊이 미터러닝과 최적화된 샘플링 전략의 조합이 기준 방법에 비해 열등한 성능을 내는 데 기여하였다.