[논문 리뷰] Interspecies Knowledge Transfer for Facial Keypoint Detection

Maheen Rashid, Xiuye Gu외 1명|arXiv (Cornell University)|2017. 04. 13.

Face recognition and analysis참고 문헌 45인용 수 4

한 줄 요약

이 논문은 형태 인식 전단을 통해 인간의 얼굴 키포인트 검출에서 지식을 전이하여 동물의 얼굴 키포인트 검출을 위한 새로운 방법을 제안한다. 먼저 각 동물 얼굴을 가장 가까운 인간 얼굴 이웃의 형태에 맞게 변형하기 위해 투명판 스퍼링(Thin-Plate Spline, TPS) 네트워크를 훈련하고, 그 후에 변형된 동물 데이터로 사전 훈련된 인간 키포인트 검출기를 미세조정하여 최신 기술 수준(SOTA)의 성능을 달성한다. 특히 훈련 데이터가 제한된 경우 뛰어난 성능을 보인다.

ABSTRACT

We present a method for localizing facial keypoints on animals by transferring knowledge gained from human faces. Instead of directly finetuning a network trained to detect keypoints on human faces to animal faces (which is sub-optimal since human and animal faces can look quite different), we propose to first adapt the animal images to the pre-trained human detection network by correcting for the differences in animal and human face shape. We first find the nearest human neighbors for each animal image using an unsupervised shape matching method. We use these matches to train a thin plate spline warping network to warp each animal face to look more human-like. The warping network is then jointly finetuned with a pre-trained human facial keypoint detection network using an animal dataset. We demonstrate state-of-the-art results on both horse and sheep facial keypoint detection, and significant improvement over simple finetuning, especially when training data is scarce. Additionally, we present a new dataset with 3717 images with horse face and facial keypoint annotations.

연구 동기 및 목표

• 말과 양과 같은 종에 대해 대규모 애너테이션된 데이터셋이 부족한 문제를 해결하기 위해.
• 다량의 애너테이션된 데이터를 바탕으로 우수한 성능을 보이는 인간 얼굴 키포인트 검출에서의 지식을 전이하여 동물의 키포인트 검출 정확도를 향상시키기 위해.
• 형태와 외관의 차이로 인해 인간에서 동물로 직접 미세조정할 경우 성능이 열등해지는 문제를 해결하기 위해.
• 미세조정 이전에 종 간 형태 차이를 명시적으로 보정하는 방법을 개발하여, 제한된 데이터로도 더 나은 적응을 가능하게 하기 위해.
• 향후 연구를 지원하기 위해 새로운 대규모 말 얼굴 키포인트 데이터셋을 공개하기 위해.

제안 방법

• 각 동물 이미지에 대해 키포인트 구성 기반으로 가장 가까운 인간 얼굴 이웃을 찾는 비지도 형태 매칭 방법을 사용한다.
• 형태 차이를 최소화하기 위해 각 동물 얼굴을 가장 가까운 인간 얼굴 이웃의 형태에 맞게 변형하는 투명판 스퍼링(TPS) 변형 네트워크를 훈련한다.
• 변형된 동물 이미지를 사용해 사전 훈련된 딥 네트워크 기반 인간 얼굴 키포인트 검출기를 미세조정함으로써, 네트워크가 형태의 차이보다 외관의 차이에 집중할 수 있도록 한다.
• 변형 네트워크와 키포인트 검출 네트워크를 함께 최적화하여 정렬 정확도와 검출 정확도를 향상시킨다.
• 말과 양 데이터셋에서 시스템을 평가하며, 변형 정확도와 이웃 수에 대한 분석도 수행한다.
• 3,717장의 말 이미지와 얼굴 키포인트 애너테이션을 포함한 새로운 데이터셋을 도입하여 벤치마킹 및 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 형태와 외관의 큰 차이가 존재함에도 불구하고 인간 얼굴 키포인트 검출에서의 지식 전이가 동물에 효과적으로 적용될 수 있는가?
• RQ2 직접 미세조정하는 것과 비교해, 미세조정 이전에 동물 얼굴을 인간 얼굴처럼 변형하는 것이 키포인트 검출 성능을 향상시키는가?
• RQ3 훈련 데이터 양이 감소함에 따라 제안된 방법의 성능은 어떻게 변화하는가?
• RQ4 변형 정확도와 가장 가까운 인간 이웃의 수가 검출 성능에 어떤 영향을 미치는가?
• RQ5 형태 인식 전단 전략을 통해 대규모 애너테이션된 동물 데이터셋이 필요 없어질 수 있는가?

주요 결과

• 제안된 방법은 말과 양의 얼굴 키포인트 검출에서 최신 기술 수준(SOTA)의 성능을 달성하며, 단순한 미세조정 및 TPS 기반 기준 모델보다 뛰어난 성능을 보인다.
• 500장의 훈련 이미지만을 사용할 경우, 말 데이터셋에서 TPS 기준 모델보다 6.72%p, 단순한 미세조정보다 13.39%p 낮은 실패율을 기록한다.
• 훈련 데이터 크기가 감소할수록 제안된 방법과 기준 모델 간의 성능 격차가 커지며, 이는 더 뛰어난 데이터 효율성을 보여준다.
• 참조 변형 이미지(Ground-Truth Warp, GT Warp)를 기준으로 하면 실패율이 7.76%이지만, 제안된 방법은 8.36%를 기록하여 변형 네트워크가 효과적이지만 완벽하지 않음을 보여준다.
• 가장 가까운 이웃 수(K)가 증가함에 따라 오류율은 일정 수준까지 감소하지만, K > 10일 경우 노이즈가 많은 이웃 선택으로 성능이 악화됨을 확인하여 최적의 이웃 수가 존재함을 시사한다.
• 이 방법은 제한된 데이터셋에 대해 강건하고 실용적이므로, 대규모 애너테이션된 동물 데이터셋을 수집하기 어려운 실생활 응용 분야에 적합하다.