[논문 리뷰] Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition

Samuel Dooley, Rhea Sanjay Sukthanker외 4명|arXiv (Cornell University)|2022. 10. 18.

Face recognition and analysis인용 수 11

한 줄 요약

이 논문은 신경망 아키텍처와 하이퍼파라미터를 동시에 탐색하는 신경망 아키텍처 탐색(NAS)과 하이퍼파라미터 최적화(HPO)를 활용하여 얼굴 인식에서의 편향 완화를 위한 새로운 접근법을 제안한다. 연구 결과, 편향은 모델 아키텍처 자체에 내재되어 있음을 발견하였고, 파레토 최적 탐색을 통해 다양한 데이터셋과 민감한 속성(인종, 성별, 연령 등)에서 기존 아키텍처와 편향 완화 기법보다 정확도와 공정성 측면에서 뛰어난 성능을 보이는 모델를 도출하였다.

ABSTRACT

Face recognition systems are widely deployed in safety-critical applications, including law enforcement, yet they exhibit bias across a range of socio-demographic dimensions, such as gender and race. Conventional wisdom dictates that model biases arise from biased training data. As a consequence, previous works on bias mitigation largely focused on pre-processing the training data, adding penalties to prevent bias from effecting the model during training, or post-processing predictions to debias them, yet these approaches have shown limited success on hard problems such as face recognition. In our work, we discover that biases are actually inherent to neural network architectures themselves. Following this reframing, we conduct the first neural architecture search for fairness, jointly with a search for hyperparameters. Our search outputs a suite of models which Pareto-dominate all other high-performance architectures and existing bias mitigation methods in terms of accuracy and fairness, often by large margins, on the two most widely used datasets for face identification, CelebA and VGGFace2. Furthermore, these models generalize to other datasets and sensitive attributes. We release our code, models and raw data files at https://github.com/dooleys/FR-NAS.

연구 동기 및 목표

• 얼굴 인식에서의 모델 편향이 학습 데이터나 최적화 방식이 아닌 주로 아키텍처의 인덕티브 편향에서 기인하는지 탐구하는 것.
• 기존의 편향 완화 기법(전처리, 내재 처리, 후처리)이 얼굴 인식과 같은 어려운 문제에서 지속적으로 실패하는 이유를 해결하는 것.
• 정확도와 공정성에 대해 아키텍처와 하이퍼파라미터를 동시에 최적화함으로써 기계 학습의 공정성에 대한 새로운 패러다임을 제시하는 것.
• 공정한 특징이 다양한 데이터셋과 민감한 속성(예: 인종, 연령) 간에 일반화되는지 평가하는 것.
• 재현 가능성과 새로운 공정성 지표 및 데이터셋에의 적응을 가능하게 하기 위해 코드, 모델, 데이터를 공개하는 것.

제안 방법

• CelebA와 VGGFace2에서 29종의 다양한 아키텍처(예: ResNets, Vision Transformers, MobileNetV3)를 대상으로 대규모 실험 분석을 수행하여 아키텍처와 하이퍼파라미터가 공정성에 미치는 영향을 정량화하는 것.
• 분석 결과에서 가장 높은 성능을 보인 모델들을 바탕으로 정확도와 공정성을 균형 잡은 아키텍처를 중심으로 NAS 공간을 설계하는 것.
• 다중 목적 최적화를 위한 Sequential Model-based Algorithm Configuration(SMAC) 프레임워크를 변형하여 NAS와 HPO를 동시에 수행하고, 테스트 정확도와 다수의 공정성 지표를 동시에 최적화하는 것.
• Rank Disparity, Disparity, Ratio, Error Ratio 등 여러 공정성 지표를 정의하고 계산하여 보호 대상 속성에 따른 모델의 공정성 수준을 평가하는 것.
• 탐색 과정에서 도출된 최고 성능의 모델을 외부 데이터셋(예: RFW는 인종, AgeDB는 연령)으로 이식하여 공정한 표현의 일반화 능력을 테스트하는 것.
• t-SNE 시각화를 활용하여 NAS 최적화 모델과 기존 표준 모델 간의 보호 대상 속성(예: 인종)의 특징 공간 선형 분리 가능성의 차이를 비교하는 것.

실험 결과

연구 질문

• RQ1 신경망 아키텍처와 하이퍼파라미터가 얼굴 인식 시스템의 공정성에 독립적으로 미치는 영향은 어느 정도인가?
• RQ2 아키텍처와 하이퍼파라미터를 동시에 탐색함으로써 정확도와 공정성 측면에서 파레토 최적의 성능을 보이는 모델을 도출할 수 있는가? 이는 기존 최고 수준의 방법을 초월하는가?
• RQ3 NAS 최적화 모델이 학습 시 사용되지 않은 데이터셋과 민감한 속성(예: 인종, 연령)으로도 공정한 특징을 일반화할 수 있는가?
• RQ4 표준 모델과 비교했을 때, 공정한 모델의 학습된 특징 공간에서 보호 대상 속성(예: 인종, 성별, 연령)의 선형 분리 가능성은 어떻게 다를까?
• RQ5 NAS 기반 아키텍처 탐색은 전통적인 편향 완화 전략(전처리, 내재 처리, 후처리)보다 실제 얼굴 인식 벤치마크에서 더 우수한 성능을 보일 수 있는가?

주요 결과

• 조직된 초기화를 가진 모델조차도 훈련된 모델과 유사한 편향 패tern을 보이며, 아키텍처의 인덕티브 편향이 얼굴 인식에서 편향의 주요 원인임을 확인하였다.
• NAS + HPO 접근법을 통해 CelebA와 VGGFace2 양쪽에서 기존 고성능 아키텍처와 편향 완화 기법을 모두 파레토 지배하는 성능을 보이는 모델들(SMAC_301, SMAC_000 등)을 발견하였다.
• VGGFace2에서 최고의 NAS 모델(SMAC_301)은 95.10%의 정확도와 81.43%의 공정성(Error Ratio)을 기록하여 DPN_MagFace(92.16% 정확도, 60.80% 공정성)를 크게 앞서는 성능을 보였다.
• RFW 데이터셋(인종을 보호 대상 속성으로)으로 이식한 결과, NAS 최적화 모델은 모든 다섯 가지 공정성 지표에서 파레토 최적 또는 파레토 지배 상태를 확보하여 강력한 일반화 능력을 입증하였다.
• AgeDB(연령을 보호 대상 속성으로)에서 NAS 모델은 80.37%의 정확도와 26.51%의 불균형도를 기록하여 DPN_MagFace(68.17% 정확도, 31.29% 불균형도)를 압도적으로 앞서며 연령대 간에 뛰어난 내구성을 보였다.
• t-SNE 시각화 결과, NAS 최적화 모델은 DPN_MagFace와 같은 표준 모델에 비해 마지막 레이어 특징 공간에서 보호 대상 속성(예: 인종)의 선형 분리 가능성이 상당히 감소된 것으로 확인되었다.