[논문 리뷰] Modeling Techniques for Machine Learning Fairness: A Survey

Mingyang Wan, Daochen Zha외 2명|arXiv (Cornell University)|2021. 11. 04.

Ethics and Social Impacts of AI참고 문헌 68인용 수 10

한 줄 요약

이 종합 검토는 내처리 기계학습 공정성 기법에 대한 포괄적인 검토를 제공하며, 공정성 제약을 최적화에 직접 통합하는 명시적 방법과 잠재 표현을 개선하는 암묵적 방법으로 분류한다. 이 기법들은 차별적 영향과 대우를 완화하는 데 효과적이며, 다중 특성 공정성, 해석 가능성 통합, 성능 트레이드오프와 같은 주요 과제를 밝혀내며, 표준화된 벤치마크와 심층적인 이론적 분석을 촉구한다.

ABSTRACT

Machine learning models are becoming pervasive in high-stakes applications. Despite their clear benefits in terms of performance, the models could show discrimination against minority groups and result in fairness issues in a decision-making process, leading to severe negative impacts on the individuals and the society. In recent years, various techniques have been developed to mitigate the unfairness for machine learning models. Among them, in-processing methods have drawn increasing attention from the community, where fairness is directly taken into consideration during model design to induce intrinsically fair models and fundamentally mitigate fairness issues in outputs and representations. In this survey, we review the current progress of in-processing fairness mitigation techniques. Based on where the fairness is achieved in the model, we categorize them into explicit and implicit methods, where the former directly incorporates fairness metrics in training objectives, and the latter focuses on refining latent representation learning. Finally, we conclude the survey with a discussion of the research challenges in this community to motivate future exploration.

연구 동기 및 목표

• 기계학습 내처리 공정성 완화 기법을 체계적으로 분류하고 분석하기 위해.
• 모델 아키텍처의 다양한 수준에서 공정성이 어떻게 달성되는지 분석하기 위해 — 명시적으로 목적 함수를 통해 또는 암묵적으로 표현 학습을 통해.
• 다중 공정성 시나리오, 해석 가능성 통합, 공정성-성능 트레이드오프에서의 열린 과제를 식별하기 위해.
• 공정성 알고리즘의 경험적 평가를 발전시키기 위해 표준화된 데이터셋과 벤치마크를 제안하기 위해.
• 현재 내처리 공정성 기법의 이론적·실용적 격차를 제시하여 향후 연구를 촉진하기 위해.

제안 방법

• 모델 아키텍처에서 공정성이 구현되는 위치에 따라 내처리 공정성 기법을 명시적 및 암묵적으로 분류하기.
• 명시적 방법은 공정성 제약 또는 정규화 요소(예: 공분산, 상관계수)를 모델 최적화 목표에 직접 통합한다.
• 암묵적 방법은 적대적 훈련이나 대조적 학습과 같은 아키텍처 설계를 통해 공정한 표현을 학습하는 데 초점을 맞춘다.
• 공분산, 동등 기회, 동등한 오차와 같은 공정성 지표를 제약 형식화의 설계 원칙으로 적용한다.
• 예측 목표를 수정하지 않고도 사전 훈련된 모델을 정밀 조정하기 위해 표현 수준의 편향 제거 기법을 적용한다.
• 그룹 수준과 개인 수준의 공정성 목표를 동시에 충족시키기 위한 제약 최적화 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 내처리 기법을 통해 기계학습 모델에 공정성을 훈련 단계에서 체계적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 명시적 내처리 공정성 기법과 암묵적 내처리 공정성 기법 간의 주요 차이점과 트레이드오프는 무엇인가?
• RQ3 기존 내처리 기법이 실패하는 상황, 특히 민감 속성이 가용하지 않거나 다중 속성이 포함된 경우는 언제인가?
• RQ4 해석 가능성 기법을 공정성과 통합하여 모델의 투명성과 편향 탐지 능력을 향상시킬 수 있는 방법은 무엇인가?
• RQ5 공정성 향상이 성능 저하를 초래하지 않고 공존하거나 심지어 성능 향상에 기여할 수 있는 조건은 무엇인가?

주요 결과

• 명시적 내처리 기법은 공정성 인식 정규화를 통해 모델 예측이 민감 속성과 독립적이게 하여 편향을 효과적으로 감소시킨다.
• 적대적 편향 제거 및 대조적 학습과 같은 암묵적 방법은 예측 목표를 수정하지 않고도 잠재 표현을 개선하여 편향을 감소시킨다.
• 내처리 기법은 BERT와 같은 사전 훈련된 모델을 최소한의 재훈련으로도 편향 제거할 수 있어 NLP 응용 분야에서 효율적인 공정성 완화를 가능하게 한다.
• 일반적인 공정성-성능 트레이드오프는 존재하지 않으며, 반면에 반감지 학습과 같은 일부 경우에서는 공정성과 정확도가 상호 보완적일 수 있다.
• 해석 가능성과 공정성의 통합은 유망한 가능성을 보이며, 특성 중요도 분석을 통해 민감 속성의 영향을 폭 드러내고 정규화를 안내할 수 있다.
• 현재 연구는 인구 통계적 속성이 포함된 대규모 표준화된 벤치마크 데이터셋이 부족하여 공정성 알고리즘의 평가 및 비교가 제한되어 있다.