[논문 리뷰] GridFace: Face Rectification via Learning Local Homography Transformations

Erjin Zhou, Zhimin Cao외 1명|arXiv (Cornell University)|2018. 08. 19.

Face recognition and analysis참고 문헌 54인용 수 5

한 줄 요약

GridFace는 학습 가능한 국소 호모지어니 등장 변환을 사용하여 얼굴 기하학적 변형을 줄이고, 제약 조건이 없는 환경에서의 인식 성능를 향상시키는 새로운 얼굴 정규화 방법을 제안한다. 노이즈 제거 autoencoder 기반의 표준 얼굴 사전 정보를 통합하고, 인식 네트워크와 함께 엔드 투 엔드로 훈련함으로써, LFW, YTF, IJB-A 및 Multi-PIE 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성한다. IJB-A에서 정합도 검증 정확도가 최대 12.6% 향상되었고, Multi-PIE에서 90도 야상에서도 랭크-1 정확도가 75.4%에 도달한다.

ABSTRACT

In this paper, we propose a method, called GridFace, to reduce facial geometric variations and improve the recognition performance. Our method rectifies the face by local homography transformations, which are estimated by a face rectification network. To encourage the image generation with canonical views, we apply a regularization based on the natural face distribution. We learn the rectification network and recognition network in an end-to-end manner. Extensive experiments show our method greatly reduces geometric variations, and gains significant improvements in unconstrained face recognition scenarios.

연구 동기 및 목표

• 제약 조건이 없는 얼굴 인식에서 얼굴 기하학적 변형이 인식 성능을 떨어뜨리는 문제를 해결하기 위해.
• 전체 변환 방법에 비해 얼굴 세부 정보를 더 잘 유지하고 왜곡을 줄이는 비정상적인 얼굴 정규화 방법을 개발하기 위해.
• 노이즈 제거 autoencoder를 통해 학습한 자연스러운 정면 얼굴 분포 사전 정보를 이용해 정규화 과정을 정규화하여 표준 얼굴 시점 생성을 장려하기 위해.
• 정규화 및 인식 네트워크를 함께 엔드 투 엔드 방식으로 최적화하여 성능 향상시키기 위해.
• 극단적인 자세 변화 하에서 여러 벤치마크에서 인식 정확도 향상이 뚜렷하게 이루어지는지 입증하기 위해.

제안 방법

• GridFace는 정규화 네트워크를 사용하여 국소 호모지어니 변환 그룹을 추정하며, 각 변환을 비틀림 가능한 평면 셀로 모델링하여 비정상적인 얼굴 변형을 포착한다.
• 이 방법은 자연스러운 표준 정면 얼굴 분포를 암묵적으로 모델링하기 위해 노이즈 제거 autoencoder(DAE)를 사용하며, 정규화를 위해 로그 밀도 밀도의 기울기를 추정한다.
• 정규화 모듈은 DAE 기반 사전 정보에 의해 정규화되어, 훈련 중에 표준 정면 유사 얼굴 시점을 생성하도록 유도된다.
• 정규화된 이미지에서 분류 가능한 얼굴 표현을 학습하기 위해, 정규화 네트워크와 함께 메트릭 학습을 사용해 인식 네트워크를 엔드 투 엔드로 훈련한다.
• 시스템은 확률적 경사 하강법을 통해 훈련되며, 정규화 및 인식 목표를 함께 최적화한다.
• 이 방법은 격자 기반 국소 호모지어니 설정을 활용하여 얼굴 영역의 세밀한 왜곡을 가능하게 하면서 왜곡을 최소화한다.

실험 결과

연구 질문

• RQ1 국소 호모지어니 변환은 제약 조건이 없는 얼굴 인식에서 얼굴 기하학적 변형을 효과적으로 줄일 수 있는가?
• RQ2 데이터 기반 표준 얼굴 사전 정보를 통합하면 정규화 품질과 인식 성능가 향상되는가?
• RQ3 정규화 및 인식 네트워크의 엔드 투 엔드 훈련은 별도 최적화보다 더 나은 성능을 낼 수 있는가?
• RQ4 극단적인 자세 변화 하에서 최신 기술 수준의 GAN 기반 얼굴 정면화 방법과 비교해 GridFace는 어떻게 성능을 내는가?
• RQ5 이 방법은 LFW, YTF, IJB-A 및 Multi-PIE를 포함한 다양한 벤치마크에서 잘 일반화되는가?

주요 결과

• Multi-PIE 데이터셋에서 Grid-8는 90도 야상에서 랭크-1 정확도 75.4%를 기록했으며, 기준 모델 대비 12.6% 향상되었다.
• IJB-A에서 Grid-8는 FAR=0.001 조건에서 정합도 검증 정확도 83.9%를 달성했으며, 기준 모델 대비 12.6% 향상되었다.
• LFW에서 Grid-8는 mAC 99.70%와 랭크-1 정확도 96.7%를 기록했으며, 이전 최신 기술 수준(SOTA) 방법들을 능가했다.
• YTF에서 Grid-8는 mAC 95.6%를 기록했으며, 강력한 기준 모델들 대비 일관된 향상을 보였다.
• Grid-8-Pub은 LFW에서 mAC 99.68%, YTF에서 mAC 95.2%를 기록하여 공개 및 비공개 데이터 설정 모두에서 뛰어난 견고성을 보였다.
• 정면 얼굴에서 성능 저하가 발생하지 않아, 최소한의 아티팩트가 유도된 것으로 나타났다.