[논문 리뷰] InclusiveFaceNet: Improving Face Attribute Detection with Race and Gender Diversity

Hee Jung Ryu, Hartwig Adam외 1명|arXiv (Cornell University)|2017. 12. 01.

Face recognition and analysis참고 문헌 13인용 수 81

한 줄 요약

InclusiveFaceNet은 보류된 데이터셋에서 인종 및 성별 표현을 학습하고 이를 얼굴 속성 탐지로 전이하여 소수 하위집단 전반의 정확도를 향상시키고 인구통계학적 프라이버시는 보존합니다.

ABSTRACT

We demonstrate an approach to face attribute detection that retains or improves attribute detection accuracy across gender and race subgroups by learning demographic information prior to learning the attribute detection task. The system, which we call InclusiveFaceNet, detects face attributes by transferring race and gender representations learned from a held-out dataset of public race and gender identities. Leveraging learned demographic representations while withholding demographic inference from the downstream face attribute detection task preserves potential users' demographic privacy while resulting in some of the best reported numbers to date on attribute detection in the Faces of the World and CelebA datasets.

연구 동기 및 목표

• 인종 및 성별 하위집단에 걸친 얼굴 속성 탐지의 공정성 향상의 필요성을 제고한다.
• 런타임 인구통계 추론 없이 인구통계 표현을 통합하기 위한 이중 전이 학습 접근법을 제안한다.
• 인구통계적 다양성을 활용하는 것이 전체 정확도와 하위그룹별 정확도를 향상시킬 수 있음을 입증한다.
• 이 방법이 공용 데이터셋(FotW 및 CelebA)에서 경쟁력 있거나 우수한 성능을 달성함을 보인다.

제안 방법

• 균일 분포를 가진 보류된 데이터셋에서 인종 및 성별에 대한 인구통계 표현을 추출하기 위해 얼굴 인식 모델(FaceNet)로부터의 전이 학습을 사용한다.
• 기본 인식 표현을 고정하고 속성과 탐지기를 학습하기 전에 인종과 성별을 위한 분리되지만 연계된 분류기(다양성 분류기)를 학습시킨다.
• 학습된 인종 및 성별 표현을 두 단계의 전이 학습 설정에서 다운스트림 얼굴 속성 탐지 네트워크(InclusiveFaceNet)로 전이한다.
• 전이된 인종 및 성별 헤드를 가진 다중헤드 얼굴 속성 탐지기를 훈련시키되 배포 시 인구통계 속성을 추론하지 않는다.
• 인구통계별 정확도와 평균 오판률(AFR)을 사용해 하위집단 간의 공정성을 평가한다.
• 기준선 및 기존 연구와 비교하여 데이터 세트 전반에 걸쳐 최첨단 성능을 확립한다.

실험 결과

연구 질문

• RQ1 보류된 인구통계 데이터셋에서 인종 및 성별 표현을 학습하는 것이 인종 및 성별 하위그룹 전반에 걸친 얼굴 속성 탐지 성능을 향상시킬 수 있는가?
• RQ2 런타임에 인구통계 추론을 요구하지 않으면서 인구통계 표현을 전이하는 것이 전체 속성 탐지 정확도를 향상시키는가?
• RQ3 InclusiveFaceNet은 Faces of the World(FotW)와 CelebA 데이터셋에서 기존 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• 이중 전이 학습 접근 방식은 기본 속성 탐지와 일치하거나 개선하여 CelebA 및 FotW에서 성별 경계를 넘어서는 새로운 최첨단 성능을 달성한다.
• 인종 표현의 전이는 다수 속성 및 하위집단의 정확도 향상을 가져오며, FotW에서 미소 인식의 현저한 향상을 포함한다.
• CelebA에서 인종 표현은 40개 속성 중 23개 속성의 정확도를 향상시키며, 일부 속성은 최대 0.9%의 절대 증가를 보이고 일부 속성은 소폭 감소를 보인다.
• 전반적으로 CelebA의 40개 속성 중 35개가 인종 전이로 유지되거나 개선되었고, 10개 속성이 새로운 최첨단 정확도에 도달한다.
• FotW 결과는 제안된 모델이 인종 및 성별 전이를 적용한 경우 기존 연구를 능가하며, 최적 모델은 인종 전이를 적용했을 때 미소 인식에서 90.96%의 정확도를 달성한다.
• 이 방법은 배포 시 인구통계 속성을 추론하지 않으므로 인구통계 프라이버시를 보존한다.