[논문 리뷰] Orthogonal Deep Features Decomposition for Age-Invariant Face Recognition

Yitong Wang, Dihong Gong외 6명|arXiv (Cornell University)|2018. 10. 17.

Face recognition and analysis참고 문헌 40인용 수 10

한 줄 요약

이 논문은 구면 좌표계를 사용하여 얼굴 특징을 수직적인 연령 관련 및 신원 관련 성분으로 분해하는 새로운 딥러닝 접근법인 수직 임bedding CNNs(OE-CNNs)를 제안한다. 이는 강건한 연령에 강인한 얼굴 인식을 가능하게 하며, MORPH Album 2, CACD-VS, FG-NET에서 최신 기술 수준을 초월하는 성능을 달성하고, 인간 수준의 정확도를 넘어서며, 분야 발전을 위해 대규모이자 노이즈가 없는 Cross-Age Face(CAF) 데이터셋을 도입한다.

ABSTRACT

As facial appearance is subject to significant intra-class variations caused by the aging process over time, age-invariant face recognition (AIFR) remains a major challenge in face recognition community. To reduce the intra-class discrepancy caused by the aging, in this paper we propose a novel approach (namely, Orthogonal Embedding CNNs, or OE-CNNs) to learn the age-invariant deep face features. Specifically, we decompose deep face features into two orthogonal components to represent age-related and identity-related features. As a result, identity-related features that are robust to aging are then used for AIFR. Besides, for complementing the existing cross-age datasets and advancing the research in this field, we construct a brand-new large-scale Cross-Age Face dataset (CAF). Extensive experiments conducted on the three public domain face aging datasets (MORPH Album 2, CACD-VS and FG-NET) have shown the effectiveness of the proposed approach and the value of the constructed CAF dataset on AIFR. Benchmarking our algorithm on one of the most popular general face recognition (GFR) dataset LFW additionally demonstrates the comparable generalization performance on GFR.

연구 동기 및 목표

• 노화로 인한 얼굴 인식의 큰 클래스 내 변동성 문제를 해결하여 정확도 저하를 방지한다.
• 연령 관련 및 신원 관련 특징을 명시적으로 분리하는 딥러닝 프레임워크를 개발하여 연령에 따른 외형 변화에 대한 강건성을 향상시킨다.
• 연령에 강인한 얼굴 인식 연구를 지원하고 발전시키기 위해 대규모 고품질의 연령 간 얼굴 데이터셋(CAF)을 구축한다.
• 제안된 방법이 연령에 강인한 얼굴 인식 외에도 일반 얼굴 인식 작업으로의 일반화 능력이 뛰어나다는 것을 입증한다.

제안 방법

• 수직적인 특징 분해를 위해 깊이 있는 얼굴 특징을 구면 좌표계에서 반경 성분(연령 관련)과 각도 성분(신원 관련)으로 분리하여 수직성을 확보한다.
• 신원 식별을 위해 각도 성분을 A-Softmax 손실로 훈련하고, 반경 성분은 연령 레이블을 사용해 회귀한다.
• 두 성분을 별도의 감독 신호를 통해 종합적으로 엔드 투 엔드로 최적화하여 연령과 신원 요소를 분리한다.
• 연령 관련 변동성에서 자유로운 각도 성분을 최종 표현으로 사용하여 연령에 강인한 얼굴 인식을 수행한다.
• 대규모 고품질의 연령 간 얼굴 컬렉션인 CAF 데이터셋을 활용해 모델을 사전 훈련 및 미세 조정한다.
• FG-NET와 같이 도전적인 벤치마크에서 성능 향상을 위해 다중 패치 앙상블 전략을 적용한다.

실험 결과

연구 질문

• RQ1 깊이 있는 얼굴 특징을 연령 관련 및 신원 관련 성분으로 수직적으로 분해하는 것이 연령에 강인한 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 구면 좌표계를 통한 연령과 신원 정보의 분리가 연령대 간 모델 일반화 능력을 어떻게 향상시키는가?
• RQ3 제안된 CAF 데이터셋이 기존의 연령 간 데이터셋에 비해 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 LFW와 같은 일반 얼굴 인식 벤치마크에서 경쟁적인 성능을 달성하는가를 통해 강력한 일반화 능력을 확보할 수 있는가?

주요 결과

• FG-NET 데이터셋에서 MF1 소형 프로토콜 하에 OE-CNNs는 랭크-1 정확도 58.21%를 기록하여 이전 최고 성능 기록인 TNVP(47.72%)를 크게 앞서 갔다.
• FG-NET의 MF2 대형 프로토콜 하에 OE-CNNs는 랭크-1 정확도 53.26%를 달성하여, 기존 최신 기술 수준의 접근법인 GT-CMU-SYSU(38.21%)를 모두 능가했다.
• LFW 벤치마크에서 OE-CNNs는 0.5M 훈련 이미지로 99.35%의 정확도를 기록하여 일반 얼굴 인식 작업으로의 강력한 일반화 능력을 입증했다.
• CAF를 포함한 확장된 170만 개 데이터셋으로 훈련한 경우, OE-CNNs는 LFW에서 99.47%의 정확도를 달성하여 CAF 데이터셋이 모델 성능 향상에 기여한다는 것을 시사했다.
• MF1 프로토콜 하에 FG-NET에서 인간 수준의 성능을 초월하여 랭크-1 정확도 58.21%를 기록했다.
• 광범위한 추상화 분석을 통해 수직 분해 메커니즘이 연령과 신원 요소를 효과적으로 분리하여 더 강건한 특징 학습을 가능하게 한다는 점을 확인했다.