[논문 리뷰] Bias and unfairness in machine learning models: a systematic literature review

Tiago Palma Pagano, Rafael Bessa Loureiro외 10명|arXiv (Cornell University)|2022. 02. 16.

Ethics and Social Impacts of AI인용 수 15

한 줄 요약

이 체계적 문헌 고찰은 2017–2022년 기간 동안 기계 학습 모델의 편향과 부당성에 대해 분석하며, 주요 공정성 지표, 탐지 및 완화 기법, AIF360, FairLearn, Aequitas와 같은 도구들을 규명한다. 연구는 표준화된 지표와 방법의 부족을 드러내며, 블랙박스 모델의 투명성 향상과 맥락 기반 공정성 평가의 필요성을 강조한다.

ABSTRACT

One of the difficulties of artificial intelligence is to ensure that model decisions are fair and free of bias. In research, datasets, metrics, techniques, and tools are applied to detect and mitigate algorithmic unfairness and bias. This study aims to examine existing knowledge on bias and unfairness in Machine Learning models, identifying mitigation methods, fairness metrics, and supporting tools. A Systematic Literature Review found 40 eligible articles published between 2017 and 2022 in the Scopus, IEEE Xplore, Web of Science, and Google Scholar knowledge bases. The results show numerous bias and unfairness detection and mitigation approaches for ML technologies, with clearly defined metrics in the literature, and varied metrics can be highlighted. We recommend further research to define the techniques and metrics that should be employed in each case to standardize and ensure the impartiality of the machine learning model, thus, allowing the most appropriate metric to detect bias and unfairness in a given context.

연구 동기 및 목표

• 최신 기계 학습 모델의 편향과 부당성에 관한 연구를 체계적 문헌 고찰(SLR) 및 문헌정보학적 분석을 통해 분석하기.
• 최근 기계 학습 연구에서 사용된 공정성 지표, 탐지 기법, 완화 전략, 지원 도구를 식별하고 분류하기.
• 편향 탐지 및 완화 분야의 최신 동향 평가를 통해 이진 및 다중 클래스 모델에서의 데이터셋, 도구, 공정성 지표에 중점을 두기.
• 표준화, 맥락 기반 공정성 평가, 설명 가능성에 대한 연구 격차를 부각시키며, 특히 블랙박스 모델에 대한 설명 가능성에 초점 맞추기.
• 모델 아키텍처와 민감한 특성에 기반하여 적절한 공정성 지표 및 기법을 선택하기 위한 향후 연구 방향 제안하기.

제안 방법

• Scopus, IEEE Xplore, Web of Science, Google Scholar 4개 학술 데이터베이스를 대상으로 RSL 방법론을 활용한 체계적 문헌 고찰(SLR) 수행.
• 사전 정의된 포함 및 배제 기준에 따라 2017년부터 2022년까지 발표된 45篇의 적합한 논문 선정.
• 공정성 연구의 추세를 도식화하기 위해 문헌정보학적 분석 수행 — 출판량, 핵심 도구, 데이터셋, 공정성 지표 포함.
• 공정성 지표(예: 동등 기회, 동등한 오차, 예측 정확도), 완화 기법(사전 처리, 내재 처리, 사후 처리), 도구(AIF360, FairLearn, Aequitas, Responsible AI) 분류.
• 민감한 특성이 공정성 평가에서 차지하는 역할 분석 및 모델 결정 과정의 투명성과 설명 가능성 평가.
• 다양한 데이터셋과 모델 유형 간 공정성 지표 결과의 일관성 평가를 통해 편향 탐지의 맥락 의존성 파악.

실험 결과

연구 질문

• RQ1 최근 기계 학습 연구에서 편향과 부당성에 대해 가장 흔히 사용되는 공정성 지표, 탐지 기법, 완화 전략는 무엇인가?
• RQ2 편향 및 공정성 연구에서 가장 자주 사용되는 도구와 데이터셋은 무엇이며, 이들이 탐지 및 완화를 어떻게 지원하는가?
• RQ3 다양한 모델 아키텍처와 민감한 특성에 따라 공정성 지표는 어떻게 달라지며, 맥락 기반 공정성 평가에 어떤 영향을 미치는가?
• RQ4 특히 블랙박스 모델과 설명 가능성에 있어 공정성 평가 분야의 주요 연구 격차는 무엇인가?
• RQ5 공정성 지표 선택에 있어 표준화 수준은 어느 정도이며, 다양한 용도에서 그 적합성에 영향을 미치는 요소는 무엇인가?

주요 결과

• Equal Opportunity(EO), Equalized Odds(EOO), Predictive Parity(PD)와 같은 다양한 공정성 지표가 사용되고 있으나, 단일 지표가 보편적으로 채택되지 않아 연구 간 편향 탐지 결과의 일관성 부족.
• AIF360, FairLearn, Aequitas, TensorFlow Responsible AI와 같은 도구들이 공정성 평가에 널리 사용되고 있으나, FairLearn에서 EOO가 지원되지 않아 도구별 제약 존재.
• 사전 처리, 내재 처리, 사후 처리 기법 모두 활용되고 있으며, 민감한 특성 정규화 및 손실 함수 조정과 같은 내재 처리 기법의 활용 증가 추세.
• 광범위한 연구에도 불구하고 공정성 지표나 완화 기법에 대한 종합적인 공식적 비교가 존재하지 않아 특정 맥락에 가장 적합한 방법 선택에 대한 애매함 존재.
• 블랙박스 모델은 여전히 공정성 연구에서 다루지 못한 영역이며, 화이트박스 모델 대비 설명 가능성 및 투명성 지원이 현저히 부족.
• 공정성 지표 결과가 데이터셋에 따라 달라지며, 이는 편향이 데이터 맥락과 민감한 특성 정의에 따라 다르게 나타남을 시사하며, 맥락 기반 공정성 평가의 필요성 강조.