[논문 리뷰] The Pursuit of Fairness in Artificial Intelligence Models: A Survey

Tahsin Alamgir Kheya, Mohamed Reda Bouadjenek외 1명|arXiv (Cornell University)|2024. 03. 26.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

본 2024년 설문조사는 AI의 공정성 정의, 편향 유형, 완화 방법을 검토하고, 이들의 적용 가능성과 윤리적 함의를 영역 간 비교 평가한다.

ABSTRACT

Artificial Intelligence (AI) models are now being utilized in all facets of our lives such as healthcare, education and employment. Since they are used in numerous sensitive environments and make decisions that can be life altering, potential biased outcomes are a pressing matter. Developers should ensure that such models don't manifest any unexpected discriminatory practices like partiality for certain genders, ethnicities or disabled people. With the ubiquitous dissemination of AI systems, researchers and practitioners are becoming more aware of unfair models and are bound to mitigate bias in them. Significant research has been conducted in addressing such issues to ensure models don't intentionally or unintentionally perpetuate bias. This survey offers a synopsis of the different ways researchers have promoted fairness in AI systems. We explore the different definitions of fairness existing in the current literature. We create a comprehensive taxonomy by categorizing different types of bias and investigate cases of biased AI in different application domains. A thorough study is conducted of the approaches and techniques employed by researchers to mitigate bias in AI models. Moreover, we also delve into the impact of biased models on user experience and the ethical considerations to contemplate when developing and deploying such models. We hope this survey helps researchers and practitioners understand the intricate details of fairness and bias in AI systems. By sharing this thorough survey, we aim to promote additional discourse in the domain of equitable and responsible AI.

연구 동기 및 목표

• 의료, 교육, 금융 등과 같은 고위험 의사결정이 이뤄지는 영역에서 AI의 공정성 필요성을 제시한다.
• 기존의 공정성 정의를 정리하고 ML 시스템의 편향에 대한 포괄적 분류체계를 확립한다.
• 데이터, 인간, 모델 소스에 따른 편향 원인을 검토하고 완화 기법과 도메인 적용 가능성을 조사한다.
• 편향된 AI가 사용자 경험에 미치는 영향과 개발 및 배포에서의 윤리적 고려를 논의한다.
• 현재 공정성 연구의 도전 과제와 한계를 파악하여 향후 연구를 위한 방향을 제시한다.

제안 방법

• ML에서의 공정성 정의와 편향에 대한 문헌 종합을 수행한다.
• ML의 공정성 분류체계(집단적, 개인적, 교차적, 인과적 기반)를 제안하고 예시를 보여준다.
• 데이터 주도, 인간, 모델 차원에 따른 편향을 사례와 함께 분류한다.
• 의료, 교육, 금융, NLP 등 도메인 전반에 걸친 완화 전략과 도메인 적용 가능성을 조사한다.
• 기존 설문조사와 비교하고 사용자 경험 영향 및 윤리와 같은 간과된 주제를 강조한다.
• 현재 공정성 연구의 도전 과제와 한계에 대한 비판적 논의를 제공한다.

실험 결과

연구 질문

• RQ1 머신러닝에서 사용되는 주요 공정성 정의와 분류체계는 무엇인가?
• RQ2 ML 파이프라인에서 어떤 유형의 편향이 발생하며 어떻게 완화할 수 있는가?
• RQ3 다양한 적용 도메인에서 공정성 개념과 편향은 어떻게 나타나는가?
• RQ4 공정한 AI 시스템을 배포할 때의 윤리적 고려사항과 사용자 경험에 미치는 영향은 무엇인가?

주요 결과

• ML의 공정성은 다면적이며 수많은 정의가 존재하여 현재 기준으로 절대적 공정성을 달성하기 어렵다.
• 포괄적 분류체계는 그룹, 개인, 교차적, 인과 기반의 공정성 개념과 다양한 지표를 구분한다(예: Demographic Parity, Equalized Odds, Calibration).
• 편향은 데이터, 인간, 모델 수준에서 발생하며 측정, 표현, 라벨링, 샘플링, 역사적 편향, 배치 편향 등을 포함한다.
• 공정성 관련 문헌이 증가하고 있으며, 이전 설문조사들은 폭넓은 또는 도메인 특성의 측면을 다뤘다; 본 연구는 사용자 경험과 윤리를 덜 탐구된 영역으로 강조한다.
• 본 논문은 윤리 지침과 신뢰 유지를 위해 AI 시스템 배포 시 사회기술적 맥락을 고려할 필요성을 논의한다.