[논문 리뷰] CP-mtML: Coupled Projection multi-task Metric Learning for Large Scale Face Retrieval

Binod Bhattarai, Gaurav Sharma외 1명|arXiv (Cornell University)|2016. 04. 11.

Face recognition and analysis참고 문헌 45인용 수 47

한 줄 요약

이 논문은 이질적인 얼굴 데이터셋 간의 쌍별 유사도 제약 조건에서 공유 투영과 작업별 투영을 동시에 학습하는 새로운 결합 투영 다중작업 거리학습 방법인 CP-mtML을 제안한다. 연령 및 표정 일치와 같은 보조 작업을 활용하여 대규모 얼굴 검색 성능을 크게 향상시키며, 특히 백만 개의 혼동자 이미지가 존재하는 환경에서 최신의 비지도 및 지도 학습 기반 기준을 초월한다. 이는 LBP 및 CNN 특징 모두에서 성능을 입증한다.

ABSTRACT

We propose a novel Coupled Projection multi-task Metric Learning (CP-mtML) method for large scale face retrieval. In contrast to previous works which were limited to low dimensional features and small datasets, the proposed method scales to large datasets with high dimensional face descriptors. It utilises pairwise (dis-)similarity constraints as supervision and hence does not require exhaustive class annotation for every training image. While, traditionally, multi-task learning methods have been validated on same dataset but different tasks, we work on the more challenging setting with heterogeneous datasets and different tasks. We show empirical validation on multiple face image datasets of different facial traits, e.g. identity, age and expression. We use classic Local Binary Pattern (LBP) descriptors along with the recent Deep Convolutional Neural Network (CNN) features. The experiments clearly demonstrate the scalability and improved performance of the proposed method on the tasks of identity and age based face image retrieval compared to competitive existing methods, on the standard datasets and with the presence of a million distractor face images.

연구 동기 및 목표

• 고차원 특징을 가진 대규모 얼굴 검색 환경에서 기존 거리학습 방법의 확장성 및 성능 한계를 해결하기 위해.
• 동일한 데이터셋 내 작업이 아닌, 이질적인 데이터셋과 다양한 얼굴 특성(예: 정체성, 연령, 표정) 간에 효과적인 다중작업 학습을 가능하게 하기 위해.
• 클래스 수준의 광범위한 레이블링에 의존하는 것을 줄이고, 오직 쌍별(비)유사도 제약 조건을 통한 지도 학습을 사용하기 위해.
• 백만 개의 혼동자 이미지가 존재하는 과도한 도전적인 환경에서 공유 투영과 작업별 투영을 공동 최적화하여 검색 정확도를 향상시키기 위해.
• 수작업(LBP) 및 딥(CNN) 특징 모두에서 교차 데이터셋, 다중작업 환경에서의 성능을 입증하기 위해.

제안 방법

• 모든 작업의 최종 투영은 공유 전역 투영과 작업별 투영의 조합으로 이루어지는 결합 투영을 통해 저차원 임베딩을 학습한다.
• 공유 투영은 작업 간 공통된 구조를 포착하고, 작업별 구성요소는 개별 작업의 특성에 적응한다.
• 쌍별 유사도/비유사도 제약 조건에 기반하여, 최대 마진 허브 손실을 사용하여 투영을 최적화한다.
• 고차원 기술 특징을 가진 대규모 데이터셋에 효율적으로 스케일링하기 위해 확률적 경사 하강법을 사용하여 최적화를 수행한다.
• 다양한 이질적인 데이터셋의 데이터를 함께 학습하여, 유사하지만 서로 다른 얼굴 특성 간 지식 전이를 가능하게 한다.
• 학습된 투영 공간에서 유클리드 거리를 계산하여 후보를 정렬함으로써 얼굴 검색에 적용한다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋 내가 아닌, 서로 다른 얼굴 특성(예: 정체성, 연령, 표정)을 가진 이질적인 데이터셋 간에 다중작업 거리학습을 효과적으로 적용할 수 있는가?
• RQ2 공유 및 작업별 투영을 함께 학습하는 결합 투영 방식이 백만 명의 혼동자 이미지가 존재하는 대규모 얼굴 검색에서 성능 향상에 기여하는가?
• RQ3 CP-mtML은 최신의 비지도(WPCA) 및 지도 학습(stML, utML) 기반 거리학습 방법과 비교해 정확도 및 확장성 측면에서 어떻게 성능을 내는가?
• RQ4 이 방법은 LBP 및 딥 CNN 특징과 같은 다양한 특징 유형 간에 일반화 능력이 뛰어나며, 교차 작업 환경에서도 잘 작동하는가?
• RQ5 보조 작업(예: 연령 또는 표정 일치)이 정체성 기반 얼굴 검색 성능에 어떤 영향을 미치는가?

주요 결과

• CP-mtML은 LBP 특징과 100만 명의 혼동자 이미지가 존재하는 조건에서, WPCA 및 stML보다 정체성 기반 얼굴 검색에서 뛰어난 성능을 보이며, K=10 및 K=20일 때 각각 61.5% 및 70.7%의 1-call@K 성능을 달성한다.
• 연령 기반 검색에서, CP-mtML는 연령을 주요 작업으로, 정체성을 보조 작업으로 사용하여 K=10 및 K=20일 때 각각 39.7% 및 47.8%의 1-call@K 성능을 달성하며, 모든 기준보다 뛰어나다.
• 다양한 투영 차원에서 utML 및 stML보다 일관되게 성능 향상을 보이며, 강력한 CNN 특징을 사용할 경우 높은 유저 차원에서 성능 포화 상태에 도달한다.
• 정성적 결과에서는 CP-mtML가 비록 stML보다 더 많은 정확한 매칭을 찾고 더 좋은 순위를 보이며, 특히 비면역 자세나 표정이 뚜렷한 얼굴의 경우에 두드러진 성능 향상을 보인다.
• LBP 특징을 사용할 경우, CP-mtML는 연령 기반 검색에서 CNN 특징을 사용하는 모든 방법보다 높은 성능을 달성하며, 이는 CNN 모델이 비정체성 작업으로 일반화하는 데 한계가 있음을 시사한다.
• 이 방법은 대규모 환경에서 뛰어난 강인성과 확장성을 보이며, 혼동자 수가 백만에 이르는 상황에서도 성능 향상이 유지된다.