[논문 리뷰] How to Train Triplet Networks with 100K Identities?

Chong Wang, Xue Zhang외 1명|arXiv (Cornell University)|2017. 09. 09.

Face recognition and analysis참고 문헌 11인용 수 19

한 줄 요약

이 논문은 100만 명의 신원을 가진 트리플릿 네트워크를 훈련하기 위해 유사한 신원들을 하위공간으로 나누는 부분공간 학습 방법을 제안한다. 이를 통해 배치 온라인 하드 음성 마이닝(OHNM)을 통한 더 효과적인 하드 트리플릿 마이닝이 가능해지며, MS-Celeb-1M 챌린지1에서 최신 기술 수준의 성능을 달성한다. 외부 데이터 없이도 LFW 정확도 99.48%와 무작위 세트에서 75%의 리콜을 기록하며, 이는 이론적 최상한 경계에 도달한다.

ABSTRACT

Training triplet networks with large-scale data is challenging in face recognition. Due to the number of possible triplets explodes with the number of samples, previous studies adopt the online hard negative mining(OHNM) to handle it. However, as the number of identities becomes extremely large, the training will suffer from bad local minima because effective hard triplets are difficult to be found. To solve the problem, in this paper, we propose training triplet networks with subspace learning, which splits the space of all identities into subspaces consisting of only similar identities. Combined with the batch OHNM, hard triplets can be found much easier. Experiments on the large-scale MS-Celeb-1M challenge with 100K identities demonstrate that the proposed method can largely improve the performance. In addition, to deal with heavy noise and large-scale retrieval, we also make some efforts on robust noise removing and efficient image retrieval, which are used jointly with the subspace learning to obtain the state-of-the-art performance on the MS-Celeb-1M competition (without external data in Challenge1).

연구 동기 및 목표

• 표준 온라인 하드 음성 마이닝이 희박한 하드 트리플릿으로 인해 실패하는 대규모(100만 명의 신원) 트리플릿 네트워크 훈련 문제를 해결한다.
• 대규모 얼굴 인식에서 효과적인 하드 트리플릿을 찾는 데 어려움을 해결하기 위해 신원을 유사한 신원의 하위공간으로 구조화한다.
• 대규모 노이즈가 많은 데이터셋에서 노이즈 제거 및 계층적 검색 기법을 통합하여 훈련 효율성과 모델의 강건성을 향상시킨다.
• 외부 데이터 없이 MS-Celeb-1M 챌린지1에서 최신 기술 수준의 성능을 달성한다. 특히 하드 세트에서 리콜이 크게 향상된다.

제안 방법

• 신원 표현을 기반으로 클러스터링을 통해 전체 신원 공간을 하위공간으로 분할하여, 각 하위공간이 유사한 신원들만 포함하도록 보장한다.
• 각 하위공간 내에서 배치 온라인 하드 음성 마이닝(OHNM)을 적용하여 의미 있고 효과적인 하드 트리플릿을 효율적으로 발견한다.
• 사전 훈련된 분류 모델을 활용해 노이즈가 있는 얼굴 이미지를 식별하고 제거하는 3단계 노이즈 제거 방법을 도입하여 데이터 품질을 향상시킨다.
• 검색 공간을 504만에서 약 10만 + 50개의 후보로 줄이는 이중 계층적 검색 전략을 구현하여 추론 속도를 크게 향상시킨다.
• 추론 파이프라인에서 GPU 가속을 통한 행렬 곱셈을 적용하여 이미지당 추론 시간을 0.1초 이하로 낮춘다.
• 부분공간 학습, 노이즈 제거, 계층적 검색을 종합적으로 통합한 엔드 투 엔드 파이프라인을 구축하여 대규모 얼굴 인식에 활용한다.

실험 결과

연구 질문

• RQ1 100만 명의 신원에서 훈련된 트리플릿 네트워크에서, 유사한 신원을 샘플링할 확률이 매우 낮은 상황에서 효과적인 하드 트리플릿을 신뢰성 있게 마이닝할 수 있는 방법은 무엇인가?
• RQ2 신원의 부분공간 클러스터링이 훈련 중 하드 트리플릿의 품질과 탐색 가능성에 기여할 수 있는가?
• RQ3 MS-Celeb-1M과 같은 대규모 데이터셋에서의 노이즈가 트리플릿 네트워크 성능에 미치는 영향은 무엇이며, 이러한 데이터를 효과적으로 정제할 수 있는 전략은 무엇인가?
• RQ4 500만 장의 이미지에서 정밀도를 유지하면서도 효율적이고 정확한 얼굴 식별을 가능하게 하는 검색 전략은 무엇인가?
• RQ5 부분공간 학습과 데이터 정제를 통해 훈련된 단일 트리플릿 네트워크가 외부 데이터 없이 MS-Celeb-1M에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 부분공간 학습과 배치 OHNM는 LFW 정확도 99.48%를 기록하며, 표준 트리플릿 훈련을 뛰어넘고, 800만 명의 신원을 사용한 FaceNet의 99.63%에 근접한다.
• 외부 데이터 없이 MS-Celeb-1M 챌린지1에서 무작위 세트에서 75%의 리콜을 달성하며, 이는 이론적 최상한 경계에 도달한다.
• 하드 세트 리콜은 60.6%에 달하여 이전 방법들(예: CIGIT_NLPR의 53.4%)보다 뚜렷하게 향상되어 하드 샘플에 대한 강건성을 입증한다.
• 노이즈 제거 방법은 LFW 정확도 99.36%를 기록하며, 원본 데이터와 고정 비율 기준선을 모두 능가하여 뛰어난 노이즈 처리 능력을 입증한다.
• GPU 가속을 통한 이중 계층적 검색 전략은 이미지당 추론 시간을 0.052초로 단축시켜, 5만 장의 테스트 이미지에 대한 전체 추론을 약 1시간 내로 완료한다.
• 외부 데이터를 사용한 팀들과 비교해도 경쟁력 있는 성능을 보이며, 하드 세트 리콜 60.6%를 기록하여 SmileLab(61%)와 Panasonic-NUS(79.1%)와 같은 정밀도 최적화 리콜 기준 팀들을 뛰어넘는다.