[논문 리뷰] Feature Transfer Learning for Deep Face Recognition with Under-Represented Data

Xi Yin, Yu Xiang외 3명|arXiv (Cornell University)|2018. 03. 23.

Face recognition and analysis참고 문헌 55인용 수 26

한 줄 요약

이 논문은 희소한 학습 샘플을 가진 부족하게 표현된(UR) 클래스로 인해 발생하는 편향된 분류기 문제를 해결하기 위해 중심 기반 특징 전이 학습(FTL) 프레임워크를 제안한다. 정규(잘 표현된) 클래스에서 추정한 주성분 분산을 특징 공간에서 UR 클래스로 전이함으로써, FTL은 정체성을 유지하면서 내부 클래스 다양성을 풍부하게 한다. 교차 최적화 학습 전략을 통해 결정 경계의 공정성과 특징의 구분 가능성 모두를 향상시키며, LFW, IJB-A 및 MS-Celeb-1M에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite the large volume of face recognition datasets, there is a significant portion of subjects, of which the samples are insufficient and thus under-represented. Ignoring such significant portion results in insufficient training data. Training with under-represented data leads to biased classifiers in conventionally-trained deep networks. In this paper, we propose a center-based feature transfer framework to augment the feature space of under-represented subjects from the regular subjects that have sufficiently diverse samples. A Gaussian prior of the variance is assumed across all subjects and the variance from regular ones are transferred to the under-represented ones. This encourages the under-represented distribution to be closer to the regular distribution. Further, an alternating training regimen is proposed to simultaneously achieve less biased classifiers and a more discriminative feature representation. We conduct ablative study to mimic the under-represented datasets by varying the portion of under-represented classes on the MS-Celeb-1M dataset. Advantageous results on LFW, IJB-A and MS-Celeb-1M demonstrate the effectiveness of our feature transfer and training strategy, compared to both general baselines and state-of-the-art methods. Moreover, our feature transfer successfully presents smooth visual interpolation, which conducts disentanglement to preserve identity of a class while augmenting its feature space with non-identity variations such as pose and lighting.

연구 동기 및 목표

• 불균형한 학습 데이터로 인해 발생하는 딥 페이스 인식 분류기의 편향 문제를 해결하기 위해, 특히 샘플 수가 적은 부족하게 표현된(UR) 클래스에 초점을 맞춘다.
• 데이터 볼륨을 줄이지 않고 UR 클래스의 특징 공간을 향상시켜 내부 클래스 다양성을 증진시키는 방법을 개발한다.
• 교차 최적화를 통해 동시에 분류기의 편향을 줄이고 특징의 구분 가능성을 향상시키는 학습 전략을 설계한다.
• 전달된 특징 분산을 활용해 저샷 및 원샷 인식 시나리오로의 효과적인 일반화를 가능하게 한다.

제안 방법

• 중심 기반 특징 전이 모듈은 정규 클래스에서 추정한 주성분 분산을 이용해 UR 클래스의 합성 특징 샘플을 생성한다.
• 모든 클래스에 공통된 정규 분포 사전을 가정하며, 클래스별 평균과 공통된 분산을 갖는다. 이는 정체성을 유지하면서 비정체성 변형(예: 자세, 조명)을 전이할 수 있도록 한다.
• 특징 전이 중에는 인코더를 고정하고, 결정 경계를 재구성하기 위해 2단계 교차 학습 전략을 적용한다. 이후 분류기를 고정하여 특징 표현을 정밀하게 조정한다.
• 특징 전이 메커니즘과 수직인 m-L2 정규화를 신규로 도입하여 특징의 밀도와 일반화 능력을 향상시킨다.
• 디코더 네트워크를 사용해 특징 보간 및 전이 과정을 시각화함으로써 정체성과 비정체성 성분을 분리할 수 있도록 한다.
• 중심과 분산 성분을 별도로 사용해 정체성과 비정체성 변화에 대해 각각 특징 보간을 수행함으로써 부드러운 시각적 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규 클래스에서 UR 클래스로 특징을 전이함으로써 딥 페이스 인식에서 분류기의 편향을 줄일 수 있는가?
• RQ2 데이터 볼륨이나 정체성 정보를 희생시키지 않고 UR 클래스의 특징 공간 다양성을 어떻게 풍부화할 수 있는가?
• RQ3 교차 학습 전략이 결정 경계의 공정성과 특징의 구분 가능성을 동시에 향상시킬 수 있는가?
• RQ4 제안된 방법이 저샷 및 원샷 페이스 인식 시나리오로 얼마나 잘 일반화되는가?
• RQ5 분리된 특징 공간은 정체성과 비정체성 변형을 분리하는 부드러운 시각적 보간을 가능하게 하는가?

주요 결과

• LFW 벤치마크에서 제안된 FTL 방법은 99.55%의 정확도를 달성하였으며, FaceNet(99.63%) 및 CosFace(99.73%)와 경쟁 가능한 성능을 보였다.
• IJB-A 벤치마크에서 FTL은 기준 방법 대비 0.6%에서 2.8%까지 성능 향상을 보였으며, 특히 거리 기반 학습(MP + TA)과 조합 시 추가적인 성능 향상이 있었다.
• MS-Celeb-1M 원샷 챌린지에서 경쟁적인 성능을 기록하여 저데이터 환경에서의 효과성을 입증하였다.
• 시각화 결과에서 정체성이 유지되면서 자세, 조명, 표정 등의 비정체성 변형이 점차 전이되는 부드러운 특징 보간이 가능함을 확인하였다.
• m-L2 정규화는 다양한 인식 작업 전반에서 일관되게 성능 향상을 이끌었으며, 특징 전이 기법과의 수직적 이점을 입증하였다.
• 특징 전이가 정체성과 비정체성 성분을 효과적으로 분리함을 확인하였으며, 정체성과 비정체성 변화를 별도로 보간함으로써 기존 보간 방식에서 관찰되던 아티팩트를 피할 수 있었다.