[논문 리뷰] SensitiveNets: Learning Agnostic Representations with Application to Face Recognition.

Aythami Morales, Julián Fiérrez외 1명|arXiv (Cornell University)|2019. 02. 01.

Face recognition and analysis참고 문헌 27인용 수 37

한 줄 요약

이 논문은 일반화된 트리플릿 손실을 사용하여 얼굴 특징 공간에서 성별 및 민족과 같은 민감한 속성을 제거함으로써 민감한 속성에 관계없이 표현을 학습하는 신경망 프레임워크인 SensitiveNets를 제안한다. 이 방법은 높은 얼굴 인식 정확도를 유지하면서도 민감도 편향을 크게 감소시키며, 24,000명의 개인이 포함된 120,000장의 이미지로 구성된 대규모 균형 잡힌 데이터셋에서 검증되었다.

ABSTRACT

This work proposes a new neural network feature representation that help to leave out sensitive information in the decision-making process of pattern recognition and machine learning algorithms. The aim of this work is to develop a learning method capable to remove certain information from the feature space without drop of performance in a recognition task based on that feature space. Our work is in part motivated by the new international regulation for personal data protection, which forces data controllers to avoid discriminative hazards while managing sensitive data of users. Our method is based on a triplet loss learning generalization that introduces a sensitive information removal process. The method is evaluated on face recognition technologies using state-of-the-art algorithms and publicly available benchmarks. In addition, we present a new annotation dataset with balanced distribution between genders and ethnic origins. The dataset includes more than 120K images from 24K identities with variety of poses, image quality, facial expressions, and illumination. The experiments demonstrate that it is possible to reduce sensitive information such as gender or ethnicity in the feature representation while retaining competitive performance in a face recognition task.

연구 동기 및 목표

• 민감한 속성 유출을 최소화함으로써 얼굴 인식 분야에서 증가하는 규제 및 윤리적 우려를 해결한다.
• 학습된 특징 표현에서 민감 정보(예: 성별, 민족)를 인식 성능 저하 없이 제거할 수 있는 딥 러닝 방법을 개발한다.
• 다양한 자세, 조명, 표정 및 균형 잡힌 성별 및 민족 분포를 포함하는 다양한 민감한 속성을 가진 대규모 균형 잡힌 벤치마크 데이터셋을 구축하여 공정한 평가를 지원한다.
• 특징 공간에서 민감한 정보를 효과적으로 억제하면서도 얼굴 인식 작업에서 경쟁적인 성능을 유지할 수 있음을 입증한다.

제안 방법

• 특징 학습 중 민감한 속성 불변성을 통합한 일반화된 트리플릿 손실 함수를 도입한다.
• 민감한 속성과 관계없이 앵커와 양성 샘플 간의 거리는 최소화하고, 음성 샘플과의 거리는 최대화하도록 네트워크를 훈련한다.
• 학습 중 주 특징 공간에서 민감한 속성을 분리하는 민감한 속성 제거 모듈을 적용한다.
• 이중 스트림 아키텍처를 사용하여 한 스트림은 정체성 불변 특징을 학습하고, 다른 스트림은 적대적 또는 대비 정규화를 통해 민감한 속성을 억제한다.
• 다양한 자세, 조명, 표정 및 민족 집단을 포함하는 대규모 균형 잡힌 데이터셋(120,000장의 이미지, 24,000명의 개인)을 활용한다.
• 정체성 인식 정확도와 민감한 속성 억제를 균형 잡는 병합 손실을 사용하여 모델을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 민감한 속성(예: 성별, 민족)에 대해 불변인 얼굴 표현을 학습할 수 있는 딥 뉴럴 네트워크를 정확도 저하 없이 훈련시킬 수 있는가?
• RQ2 수정된 트리플릿 손실 목적함수를 사용하여 학습된 특징 공간에서 민감한 정보를 어느 정도 제거할 수 있는가?
• RQ3 균형 잡힌 데이터셋(균형 잡힌 성별 및 민족 분포 포함)에서 훈련된 얼굴 인식 모델의 성능은 불균형 벤치마크와 비교해 어떻게 변화하는가?
• RQ4 임베딩 공간에서 정체성 정보를 민감한 속성과 분리할 수 있으며, 이로 인해 높은 후행 인식 성능를 유지할 수 있는가?

주요 결과

• 제안된 SensitiveNets 방법은 인식 정확도를 유지하면서도 학습된 얼굴 표현에서 민감한 속성 유출(예: 성별, 민족)을 효과적으로 감소시킨다.
• 실험 결과, 특징 공간에서 민감한 속성이 억제된 후에도 표준 얼굴 인식 벤치마크에서 높은 성능를 달성함을 확인하였다.
• 24,000명의 개인으로 구성된 120,000장의 이미지로 구성된 대규모 균형 잡힌 데이터셋은 다양한 민족 집단 간에 더 강력하고 공정한 얼굴 인식 모델 평가를 가능하게 한다.
• 민감한 불변성 제약 조건이 포함된 일반화된 트리플릿 손실은 성능 저하 없이 민감도 편향에 강건한 표현을 효과적으로 학습한다.
• 민감한 정보를 특징 표현에서 제거함으로써 모델이 서로 다른 정체성을 구분하는 능력이 손상되지 않음을 입증하였다.
• 결과적으로, 훈련 중에 명시적으로 무관한 표현을 학습함으로써 더 공정한 얼굴 인식 시스템을 구축할 수 있음을 확인하였다.