[논문 리뷰] Multi-Prototype Networks for Unconstrained Set-based Face Recognition

Jian Zhao, Jianshu Li외 7명|arXiv (Cornell University)|2019. 02. 13.

Face recognition and analysis참고 문헌 48인용 수 6

한 줄 요약

이 논문은 실생활 얼굴 인식에서 발생하는 높은 내집단 변동성 문제를 해결하기 위해, 제약 없는 이미지 및 영상 세트에서 다수의 구분 가능한 얼굴 프로토타입을 학습하는 엔드 투 엔드 학습 가능한 모델인 멀티프로토타입 네트워크(MPNet)를 제안한다. 밀도 높은 부분그래프(DFS) 학습 서브넷을 통해 MPNet은 매체 세트를 조건별로 특화된 프로토타입으로 암묵적으로 분할하며, IJB-A, YTF, IJB-C 벤치마크에서 최신 기술 대비 집합 기반 인식 정확도를 크게 향상시킨다.

ABSTRACT

In this paper, we study the challenging unconstrained set-based face recognition problem where each subject face is instantiated by a set of media (images and videos) instead of a single image. Naively aggregating information from all the media within a set would suffer from the large intra-set variance caused by heterogeneous factors (e.g., varying media modalities, poses and illuminations) and fail to learn discriminative face representations. A novel Multi-Prototype Network (MPNet) model is thus proposed to learn multiple prototype face representations adaptively from the media sets. Each learned prototype is representative for the subject face under certain condition in terms of pose, illumination and media modality. Instead of handcrafting the set partition for prototype learning, MPNet introduces a Dense SubGraph (DSG) learning sub-net that implicitly untangles inconsistent media and learns a number of representative prototypes. Qualitative and quantitative experiments clearly demonstrate superiority of the proposed model over state-of-the-arts.

연구 동기 및 목표

• 자세, 조명, 미디어 모odal의 변동성으로 인해 발생하는 제약 없는 집합 기반 얼굴 인식에서의 높은 내집단 변동성 문제를 해결한다.
• 기존 방법이 수작업으로 설계된 집합 분할 또는 단순 풀링(예: 평균/최대값)에 의존하는 한계를 극복한다.
• 집합의 구조에 대한 사전 가정 없이도 각 주제에 대해 다수의 구분 가능한 프로토타입을 적응적으로 학습하는 엔드 투 엔드 학습 프레임워크를 개발한다.
• 다양한 조건 하에서 주제별 표현을 모델링하여 실생활 얼굴 인식의 강인성과 정확도를 향상시킨다.
• 주요 얼굴 특징을 잘 포착하는 조밀하고 조건별로 특화된 프로토타입을 학습함으로써 효과적인 집합 간 매칭을 가능하게 한다.

제안 방법

• 혼합된 이미지 및 영상 세트에서 각 주제에 대해 다수의 프로토타입 표현을 학습하는 멀티프로토타입 네트워크(MPNet)를 제안한다.
• 유사도 기반으로 각 미디어 세트를 분리된 부분집합으로 암묵적으로 분할하는 밀도 높은 부분그래프(DSG) 학습 서브넷을 도입하며, 수작업으로 설계된 클러스터링이 필요하지 않다.
• DSG 서브넷을 활용해 각 부분집합 내에서 압축되고, 서로 다른 주제 간에 구분 가능한 프로토타입을 학습한다.
• 프로토타입의 압축성과 커버리지 향상을 위해 모델을 엔드 투 엔드로 학습함으로써, 자세, 조명, 미디어 모달성과 같은 이질적 특성들을 효과적으로 분리한다.
• 단순 풀링 대신 학습된 프로토타입을 통한 특징 집합화를 적용하여 집합 수준의 매칭에 필수적인 정보를 유지한다.
• 구분 가능성 향상을 위해 대비 손실을 적용하여 프로토타입을 최적화함으로써, 서로 다른 얼굴 조건을 대표하면서도 내집단 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 명시적인 집합 분할 없이 제약 없는 미디어 세트에서 다수의 조건별로 특화된 얼굴 프로토타입을 학습할 수 있는가?
• RQ2 단일 프로토타입 또는 단순 풀링 방법 대비 다수의 프로토타입을 엔드 투 엔드로 학습함으로써 정확도가 얼마나 향상되는가?
• RQ3 DSG 기반 서브넷은 얼마나 효과적으로 이질적인 미디어를 암묵적으로 분리하여 고변동성 환경에서 표현 품질을 향상시킬 수 있는가?
• RQ4 MPNet은 자세, 조명, 미디어 유형의 변동성이 다양하게 포함된 다양한 벤치마크에 일반화되는가?
• RQ5 제안된 프레임워크는 도전적인 실생활 집합 기반 얼굴 인식 시나리오에서 최신 기술 대비 승리할 수 있는가?

주요 결과

• IJB-A 벤치마크에서 MPNet은 비교된 모든 방법 중 가장 높은 검증 성능를 기록했으며, 두 번째로 우수한 방법과 비교해 뚜렷한 격차를 보였다.
• YTF 벤치마크에서 MPNet은 검증 정확도 기준으로 두 번째로 뛰어난 결과를 1.10% 향상시켜 영상 기반 인식에서 강력한 일반화 능력을 입증했다.
• IJB-C 벤치마크에서 MPNet은 FAR=10^-5일 때 TAR를 0.827로 기록하여 두 번째로 뛰어난 방법보다 5.60%포인트 높게 기록했으며, 극단적인 변동성에 대한 강인함을 확인했다.
• 시각화 결과는 학습된 프로토타입이 특정 자세나 조명 조건과 대응함을 보여주어, 모델이 이질적 특성을 효과적으로 분리할 수 있음을 확인했다.
• 제거 실험 결과 DSG 서브넷이 성능 향상에 필수적임을 입증했으며, 이를 제거할 경우 정확도가 뚜렷이 감소하여 암묵적 집합 분할 기능의 중요성을 검증했다.
• 전체 쌍방향 매칭 방법 대비 낮은 계산 복잡도로 뛰어난 성능를 달성하여 실생활 적용에 실용적임을 입증했다.