[논문 리뷰] Transferring Landmark Annotations for Cross-Dataset Face Alignment

Shizhan Zhu, Cheng Li외 2명|arXiv (Cornell University)|2014. 09. 02.

Face recognition and analysis참고 문헌 23인용 수 22

한 줄 요약

이 논문은 서로 다른 애너테이션 프로토콜을 가진 얼굴 정렬 데이터셋 간에 랜드마크 애너테이션을 전이하기 위해 전이적(Transductive)인 계단식 회귀 방법을 제안한다. 이를 통해 다양한 데이터셋의 융합이 효과적으로 가능해지며, 공통된 의미적 랜드마크(예: 눈과 입의 끝)를 활용해 소스 데이터셋의 조밀한 애너테이션을 타겟 데이터셋으로 전이함으로써, 교차 데이터셋 및 미리보지 않은 도메인에서의 얼굴 정렬 성능을 크게 향상시킨다. 이는 폐쇄 세계 기반 모델 대비 평균 16.6% 향상과 나태한 융합 대비 11.4% 향상을 달성한다.

ABSTRACT

Dataset bias is a well known problem in object recognition domain. This issue, nonetheless, is rarely explored in face alignment research. In this study, we show that dataset plays an integral part of face alignment performance. Specifically, owing to face alignment dataset bias, training on one database and testing on another or unseen domain would lead to poor performance. Creating an unbiased dataset through combining various existing databases, however, is non-trivial as one has to exhaustively re-label the landmarks for standardisation. In this work, we propose a simple and yet effective method to bridge the disparate annotation spaces between databases, making datasets fusion possible. We show extensive results on combining various popular databases (LFW, AFLW, LFPW, HELEN) for improved cross-dataset and unseen data alignment.

연구 동기 및 목표

• 분포 및 애너테이션 차이로 인해 한 데이터셋에서 훈련된 모델이 다른 데이터셋에서 성능이 떨어지는 데이터셋 편향 문제를 해결한다.
• 기존에 수작업 재라벨링이 필수였던, 상호 호환되지 않는 랜드마크 애너테이션 프로토콜을 가진 데이터셋 간 융합 문제를 해결한다.
• 자동으로 애너테이션 공간을 표준화함으로써 LFW, AFLW, LFPW, HELEN 등의 여러 얼굴 정렬 데이터셋을 융합할 수 있도록 한다.
• 다양한 훈련 데이터를 활용해, 특히 가림이나 어려운 자세가 있는 도메인에서도 모델 일반화 성능을 향상시킨다.
• LFW에 대해 조밀한 68점 및 194점 애너테이션을 애너테이션 전이를 통해 제공함으로써 향후 연구에 활용도를 높인다.

제안 방법

• 다양한 데이터셋 간에 일관된 정의를 가진 공통 의미 랜드마크(예: 눈 끝, 입 끝, 동공 중심)를 식별하여 총 랜드마크 수가 다를 수 있는 상황에서도 기반을 마련한다.
• 이러한 공통 랜드마크를 정렬 기준점으로 삼아, 전이적 정렬 과정을 통해 소스와 타겟 데이터셋 간 기하학적 대응 관계를 수립한다.
• 형태 회귀와 애너테이션 전이를 동시에 최적화하는 계단식 회귀 프레임워크(TCR)를 적용하여, 소스 데이터셋의 조밀한 애너테이션을 타겟 도메인에 피팅하는 데 도움을 준다.
• 소스 및 타겟 데이터를 함께 학습함으로써 전이적 학습을 수행하며, 공통 랜드마크 제약 조건을 이용해 소스 애너테이션을 타겟 도메인으로 전이한다.
• 계단식 회귀에서 형태에 의존하는 특징과 반복적 정밀 조정을 활용해 타겟 데이터셋에서의 랜드마크 정렬 정확도를 향상시킨다.
• 전이된 애너테이션을 활용해 희소한 타겟 데이터셋을 풍부하게 만들며, 수동 재라벨링 없이도 타겟 도메인에서 고품질의 조밀한 애너테이션을 확보한다.

실험 결과

연구 질문

• RQ1 수동 재라벨링 없이도 다양한 얼굴 정렬 데이터셋 간 애너테이션 공간을 표준화할 수 있는가?
• RQ2 다른 애너테이션 프로토콜을 가진 타겟 데이터셋에서, 소스 데이터셋의 조밀한 애너테이션을 전이함으로써 성능 향상 정도는 어느 정도인가?
• RQ3 제안된 애너테이션 전이 방법을 사용해 데이터셋 간 융합된 훈련 데이터로 학습할 경우, 모델 일반화 성능는 어떻게 향상되는가?
• RQ4 LFW + AFLW 등의 데이터셋을 융합해 학습한 모델이, 개별 데이터셋에서 학습한 모델보다 교차 데이터셋 및 미리보지 않은 도메인 평가에서 더 우수한 성능을 내는가?
• RQ5 COFW 데이터셋처럼 어려운 가림이 있는 데이터셋에 대해, COFW 자체의 훈련 데이터를 사용하지 않고도 효과적인 전이가 가능한가?

주요 결과

• 제안된 전이적 계단식 회귀(TCR) 방법은 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트할 때 '폐쇄 세계' 기반 모델(SDM) 대비 평균 16.6% 향상된 성능을 달성한다.
• 단순한 훈련 세트 융합 대비 평균 11.4% 향상되어, 애너테이션 공간 표준화의 효과를 입증한다.
• 심한 가림이 있는 COFW 데이터셋에서, COFW 데이터를 사용하지 않고 LFW와 AFLW에서 훈련한 TCR 모델이 COFW에서 훈련한 모델보다 성능이 뛰어나, 더 뛰어난 일반화 능력을 보여준다.
• TCR 방법은 심한 가림과 비면대칭 자세가 있는 어려운 도메인에서도 최신 기술 수준의 성능을 달성한다.
• 이 방법은 이전에 5점 애너테이션만 존재했던 LFW 데이터셋에 조밀한 68점 및 194점 애너테이션을 성공적으로 전이하여 애너테이션 품질을 크게 향상시켰다.
• 다양한 소스-타겟 조합에서 상대적 향상률은 8%에서 39%까지 다양하며, HELEN에서 LFW 및 LFPW로 전이할 경우 가장 높은 성과를 기록했다.