[논문 리뷰] Learning Fair Face Representation With Progressive Cross Transformer

Yong Li, Yufei Sun외 3명|arXiv (Cornell University)|2021. 08. 11.

Face recognition and analysis참고 문헌 52인용 수 10

한 줄 요약

이 논문은 단계별로 진행되는 방식으로 신원과 관련된 얼굴 특징을 인종에 기인한 노이즈에서 분리하는 Progressive Cross Transformer (PCT)를 제안한다. 이는 교차 attention 메커니즘을 사용하여 신호 정제 기반의 얼굴 표현을 일반화된 기능 분해로 모델링함으로써, 민감도 향상된 정확도와 공정성을 동시에 확보하면서도 인종 편향을 억제한다. BFW 및 RFW 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Face recognition (FR) has made extraordinary progress owing to the advancement of deep convolutional neural networks. However, demographic bias among different racial cohorts still challenges the practical face recognition system. The race factor has been proven to be a dilemma for fair FR (FFR) as the subject-related specific attributes induce the classification bias whilst carrying some useful cues for FR. To mitigate racial bias and meantime preserve robust FR, we abstract face identity-related representation as a signal denoising problem and propose a progressive cross transformer (PCT) method for fair face recognition. Originating from the signal decomposition theory, we attempt to decouple face representation into i) identity-related components and ii) noisy/identity-unrelated components induced by race. As an extension of signal subspace decomposition, we formulate face decoupling as a generalized functional expression model to cross-predict face identity and race information. The face expression model is further concretized by designing dual cross-transformers to distill identity-related components and suppress racial noises. In order to refine face representation, we take a progressive face decoupling way to learn identity/race-specific transformations, so that identity-unrelated components induced by race could be better disentangled. We evaluate the proposed PCT on the public fair face recognition benchmarks (BFW, RFW) and verify that PCT is capable of mitigating bias in face recognition while achieving state-of-the-art FR performance. Besides, visualization results also show that the attention maps in PCT can well reveal the race-related/biased facial regions.

연구 동기 및 목표

• 높은 정확도에도 불구하고 공정성을 해치는 인종 편향을 포함한 민감도 편향을 해결하기 위해 얼굴 인식에서의 민감도 편향, 특히 인종 편향을 다루는 것.
• 정확도를 희생시키지 않은 채 얼굴 표현에서 신원과 관련된 특징을 인종에 기인한 노이즈에서 분리하는 것.
• 얼굴 표현을 신호 정제 문제로 모델링하여, 인종이 신원과 관련 없는 노이즈의 원천이 되도록 하는 것.
• 딥 얼굴 인식 네트워크의 각 단계에서 단계별로 교차 attention 모듈을 점진적으로 적용하여 인종 편향을 억제하는 것.
• 주의 맵이 인종 관련 얼굴 영역을 강조함을 시각화하고 확인하여 효과적인 편향 억제를 확인하는 것.

제안 방법

• 얼굴 표현을 신원과 인종 정보를 상호 예측하는 일반화된 기능 표현 모델로 공식화한다.
• 신원과 관련된 구성 요소를 추출하고 인종에 기인한 노이즈를 억제하기 위해 이중 교차 attention 메커니즘(교차 attention 모듈, CT)을 도입한다.
• 진행적 교차 트랜스포머(PCT)는 네트워크의 초기 레이어부터 시작하여 단계별로 CT 모듈을 적용함으로써 점진적으로 편향을 억제한다.
• 성능과 파rameter 효율성 간의 최적 균형을 위해 H=2로 설정된 멀티헤드 교차 attention을 사용한다.
• 신원 분류와 인종 예측에 대한 공동 손실을 사용하여 엔드 투 엔드로 훈련함으로써 분리 가능성을 확보한다.
• 주의 맵을 시각화하여 모델이 어떻게 인종 관련 얼굴 영역을 식별하고 억제하는지 분석한다.

실험 결과

연구 질문

• RQ1 차별 가능한, 학습 가능한 메커니즘을 사용하여 얼굴 표현을 신원과 관련된 요소와 인종에 기인한 노이즈 요소로 효과적으로 분리할 수 있는가?
• RQ2 네트워크 단계 전반에 걸쳐 교차 attention 모듈을 점진적으로 적용할 경우, 단일 단계 또는 후기 단계 적용 대비 얼굴 인식의 공정성을 향상시킬 수 있는가?
• RQ3 트랜스포머 기반 아키텍처가 정확도를 유지하거나 향상시키면서도 민감도 편향을 억제할 수 있는가?
• RQ4 주의 맵이 얼마나 잘 인종 관련 얼굴 영역을 드러내며, 이는 효과적인 편향 억제를 의미하는가?
• RQ5 공정한 얼굴 표현 학습에서 모델 용량과 일반화 능력 간의 균형을 이루는 최적의 어텐션 헤드 수가 존재하는가?

주요 결과

• PCT는 BFW 및 RFW 벤치마크에서 최고 성능을 기록하면서도 인종 집단 간 성능 변동을 크게 감소시켰다.
• H=2 교차 attention 헤드를 사용할 경우, H=1 대비 인종 집단 간 검증 정확도의 표준편차가 반으로 감소하였다.
• 조기 단계(예: 스테이지 1)에 CT 모듈을 추가할 경우 후기 단계(예: 스테이지 4)에 추가하는 것보다 더 큰 편향 억제 효과를 보였다. 이는 초기 특징 수준에서의 편향이 가장 영향력이 크다는 것을 시사한다.
• H=4 교차 attention 헤드를 사용할 경우 과적합이 발생하고 성능이 악화되어, H=2가 용량과 일반화 능력 간 최적의 균형을 제공한다는 점을 확인하였다.
• 주의 맵의 시각화 결과 PCT가 인종 관련 얼굴 영역(예: 눈, 코, 얼굴 질감 등)을 학습하여 깊이 있는 레이어로 갈수록 점진적으로 억제하는 것을 확인하였다.
• CT 모듈을 점진적으로 적용함으로써 기준 모델에 비해 인구집단 간 정확도 표준편차가 30-50% 감소하였다.