[논문 리뷰] Recognizing Partial Biometric Patterns

Lingxiao He, Zhenan Sun외 2명|arXiv (Cornell University)|2018. 10. 17.

Face recognition and analysis참고 문헌 42인용 수 84

한 줄 요약

이 논문은 Spatial Feature Reconstruction(SFR)과 배치 하드 트리플렛 학습을 이용한 정렬 불필요한 엔드투엔드 프레임워크를 제시하여 사람 재식별 및 부분 얼굴 인식 작업에서 부분적 생체 패턴을 인식하고 다수의 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

Biometric recognition on partial captured targets is challenging, where only several partial observations of objects are available for matching. In this area, deep learning based methods are widely applied to match these partial captured objects caused by occlusions, variations of postures or just partial out of view in person re-identification and partial face recognition. However, most current methods are not able to identify an individual in case that some parts of the object are not obtainable, while the rest are specialized to certain constrained scenarios. To this end, we propose a robust general framework for arbitrary biometric matching scenarios without the limitations of alignment as well as the size of inputs. We introduce a feature post-processing step to handle the feature maps from FCN and a dictionary learning based Spatial Feature Reconstruction (SFR) to match different sized feature maps in this work. Moreover, the batch hard triplet loss function is applied to optimize the model. The applicability and effectiveness of the proposed method are demonstrated by the results from experiments on three person re-identification datasets (Market1501, CUHK03, DukeMTMC-reID), two partial person datasets (Partial REID and Partial iLIDS) and two partial face datasets (CASIA-NIR-Distance and Partial LFW), on which state-of-the-art performance is ensured in comparison with several state-of-the-art approaches. The code is released online and can be found on the website: https://github.com/lingxiao-he/Partial-Person-ReID.

연구 동기 및 목표

• 가려짐, 포즈 변화, 부분 관찰 등으로 대상이 부분적으로 관찰될 때 생체 인식을 다룬다.
• 입력 크기에 의존하거나 엄격한 정렬에 의존하지 않는 일반 프레임워크를 개발한다.
• 다양한 크기의 특성 맵을 매칭할 수 있도록 사전 학습된 선형 조합과 L2 정규화를 사용하는 Spatial Feature Reconstruction(SFR)을 도입한다.
• SFR을 엔드투엔드 최적화를 위한 배치 하드 트리플렛 학습 패러다임에 포함시킨다.
• 전체 재식별 및 부분 재식별, 부분 얼굴 데이터셋을 포함한 다양한 데이터셋에서 효과를 보여준다.

제안 방법

• 입력 이미지를 통해 공간 특성 맵을 생성하는 완전 합성 컨볼루션 네트워크(FCN) 인코더를 사용한다.
• 글로벌 평균 풀링(GAP)과 피라미드 풀링으로 구성된 특성 후처리 모듈을 적용하여 글로벌 및 다중 스케일 공간 특성을 얻는다.
• SFR을 도입한다: 포즈의 갤러리 세트에서 학습된 선형 결합과 L2 정규화를 통해 각 공간 특성을 재구성하여 서로 다른 입력 크기에 대해 정렬 불필요한 매칭을 가능하게 한다.
• 재구성 잔차를 기반으로 공간 특성 재구성 거리 Ds(X, Y)를 계산하고 이를 글로벌 특성 거리와 함께 융합된 거리 척도에서 사용한다.
• 다른 신원을 최대화하고 동일 신원 간 거리를 최소화하도록 배치 하드 트리플렛 손실(BH)로 학습하며, SFR을 추가한 BH-SFR로 판별력을 강화한다.
• 재구성 계수 W를 업데이트하고 FCN을 역전파하여 θ를 최적화하는 교대 최적화 루틴을 제공한다.

실험 결과

연구 질문

• RQ1 정렬 없이 임의 크기이고 부분적으로 관찰된 생체 표적에 대해 인식이 견고할 수 있는가?
• RQ2 글로벌 특성과 공간 특성 재구성을 결합하면 재식별 및 부분 얼굴 작업에서 부분 생체 인식이 향상되는가?
• RQ3 엔드투엔드 학습에서 공간 특성 재구성을 보강할 때 배치 하드 트리플렛 학습은 얼마나 효과적인가?
• RQ4 표준 및 부분 생체 인식 데이터셋(Market1501, CUHK03, DukeMTMC-reID, Partial-REID, Partial-iLIDS, CASIA-NIR-Distance, Partial LFW)에서의 방법 성능은 어떠한가?

주요 결과

방법	Market1501 번역 랭크-1	Market1501 mAP	Market1501 번역 랭크-1 (멀티 쿼리)	Market1501 mAP (멀티 쿼리)	CUHK03 번역 랭크-1 (레이블링)	CUHK03 mAP (레이블링)	CUHK03 번역 랭크-1 (탐지)	CUHK03 mAP (탐지)
SFR (ours)	93.04	81.02	94.84	85.47	67.29	61.47	63.86	58.97

• SFR은 표준 및 부분 생체 데이터셋에서 경쟁력 있는 성능을 달성한다.
• Market1501 단일 쿼리에서 SFR은 93.04% Rank-1, 81.02% mAP를 달성하며 다수의 베이스라인보다 우수하다.
• Market1501 다중 쿼리에서 SFR은 94.84% Rank-1, 85.47% mAP를 달성한다.
• CUHK03(Labeled)에서 SFR은 67.29% Rank-1, 61.47% mAP; (Detected) 63.86% Rank-1, 58.97% mAP이다.
• 제안된 접근법은 다수의 동시대 방법과 비교할 때 강력한 결과를 보여주며(부분 기반, 마스크 가이드, 포즈 가이드 및 주의 기반 방법 포함) 스케일 및 정렬 문제에 대해 강건함을 보인다.