[논문 리뷰] Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models

Zhibo Wang, Xiaowei Dong외 5명|arXiv (Cornell University)|2022. 03. 03.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 모델 아키텍처나 파라미터를 수정하지 않고도 배포된 딥러닝 모델의 편향을 완화하기 위한 새로운 방법 Fairness-aware Adversarial Perturbation (FAAP)을 제안한다. FAAP은 보호된 속성(예: 성별, 민족)이 모델의 잠재 공간에서 구별되지 않도록 입력 데이터를 변형하는 적대적 생성기를 사용하여 부당한 예측을 줄인다. 이 방법은 상용 API에서 인구 통계적 평등성 차이를 최대 66.1% 감소시키고, 동등 기회 차이를 61.9% 향상시키며, 정확도 저하가 최소화된다.

ABSTRACT

Prioritizing fairness is of central importance in artificial intelligence (AI) systems, especially for those societal applications, e.g., hiring systems should recommend applicants equally from different demographic groups, and risk assessment systems must eliminate racism in criminal justice. Existing efforts towards the ethical development of AI systems have leveraged data science to mitigate biases in the training set or introduced fairness principles into the training process. For a deployed AI system, however, it may not allow for retraining or tuning in practice. By contrast, we propose a more flexible approach, i.e., fairness-aware adversarial perturbation (FAAP), which learns to perturb input data to blind deployed models on fairness-related features, e.g., gender and ethnicity. The key advantage is that FAAP does not modify deployed models in terms of parameters and structures. To achieve this, we design a discriminator to distinguish fairness-related attributes based on latent representations from deployed models. Meanwhile, a perturbation generator is trained against the discriminator, such that no fairness-related features could be extracted from perturbed inputs. Exhaustive experimental evaluation demonstrates the effectiveness and superior performance of the proposed FAAP. In addition, FAAP is validated on real-world commercial deployments (inaccessible to model parameters), which shows the transferability of FAAP, foreseeing the potential of black-box adaptation.

연구 동기 및 목표

• 모델 재학습이나 아키텍처 변경이 불가능한 배포된 딥러닝 모델의 공정성 문제를 해결하기 위해.
• 모델 파라미터나 아키텍처에 대한 접근 없이 추론 시점에서 공정성을 향상시키는 방법을 개발하기 위해.
• 입력을 변형하여 보호된 속성을 모델 표현에서 숨기도록 함으로써 블랙박스 공정성 완화를 가능하게 하기 위해.
• 모델 정확도와 일반화 능력을 유지하면서도 강력한 공정성 향상을 달성하기 위해.

제안 방법

• 보호된 속성이 입력 데이터의 잠재 표현에서 구별되지 않도록 하는 적대적 변형을 생성하는 생성망을 훈련한다.
• 배포된 모델의 잠재 표현에서 보호된 속성(예: 성별)을 분류하기 위해 판별망을 훈련한다.
• 생성망과 판별망을 적대적으로 훈련하여, 생성망이 판별망이 보호된 속성을 탐지하지 못하도록 유도한다.
• 배포된 모델의 잠재 공간 표현을 활용하여 변형 생성을 유도함으로써, 공정성과 관련된 특징을 효과적으로 숨길 수 있도록 한다.
• 대상 모델이 블랙박스일 경우, 보조 모델(예: 일반 모델 또는 공정성 향상 모델)을 사용하여 생성망을 훈련함으로써 이동성(transferability)을 구현한다.
• 합성 및 실제 상용 API를 대상으로 인구 통계적 평등성(DP)과 동등 기회 차이(DEO)와 같은 공정성 지표를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 모델의 파라미터나 아키텍처를 수정하지 않고도 적대적 변형을 사용해 배포된 딥러닝 모델의 편향 공정성 문제를 완화할 수 있는가?
• RQ2 제안된 방법이 실제 블랙박스 모델에서 인구 통계적 평등성과 동등 기회 차이를 얼마나 효과적으로 감소시키는가?
• RQ3 보조 모델에서 훈련한 변형이 접근 불가능한 상용 API에 얼마나 잘 이동되는가?
• RQ4 모델 정확도를 유지하면서도 공정성 지표를 크게 향상시킬 수 있는가?
• RQ5 변형이 잠재 공간에서 보호된 속성과 예측 간의 상관관계를 효과적으로 제거하는가?

주요 결과

• FAAP은 일반 훈련 모델에서 인구 통계적 평등성(DP)을 평균 27.5% 향상시키고, 동등 기회 차이(DEO)를 66.1% 감소시켰으며, 정확도 저하율은 1.5%에 불과했다.
• 알리바바의 상용 API에서 FAAP은 DEO를 0.0952에서 0.0368로 감소시키고, DP를 0.1768에서 0.1475로 향상시켰으며, 정확도 저하율은 0.26%였다.
• 바이두의 상용 API에서 FAAP은 DP를 41.1% 향상시키고, DEO를 64.8% 감소시켰으며, 정확도 저하율은 2.89%였다.
• T-SNE 시각화 결과, FAAP 변형이 잠재 공간에서 서로 다른 보호된 속성(예: 남성/여성)의 표현을 혼합하여 분리 가능성은 감소시켰다.
• 실제 블랙박스 API로의 강력한 이동성(transferability)을 입증하여, 실질적인 생산 환경에서의 구현 가능성을 보여주었다.
• 모델의 유용성을 유지하면서도 보호된 속성과 예측 간의 상관관계를 효과적으로 제거하여, 다양한 데이터셋과 모델에서 일관된 공정성 향상을 보였다.