[논문 리뷰] FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning

Ángel Alexander Cabrera, Will Epperson외 4명|arXiv (Cornell University)|2019. 04. 10.

Ethics and Social Impacts of AI참고 문헌 40인용 수 181

한 줄 요약

FAIRVIS는 데이터 과학자가 협동적이고 상호작용적인 시각화를 통해 기계학습 모델의 교차적 편향을 탐지할 수 있도록 돕는 시각적 분석 시스템이다. 클러스터링과 엔트로피 기반 특성 중요도를 활용한 자동 하위군 제안 기능과 사용자 주도 탐색을 융합하여, 예를 들어 '자기자식' 관계 상태를 가진 기혼-시민배우자 여성 하위군에서 정확도가 71% 감소한 것처럼 숨겨진 격차를 드러내며, 복잡한 민족적·성별 교차 구조에서의 공정성 감사 가능성을 향상시킨다.

ABSTRACT

The growing capability and accessibility of machine learning has led to its application to many real-world domains and data about people. Despite the benefits algorithmic systems may bring, models can reflect, inject, or exacerbate implicit and explicit societal biases into their outputs, disadvantaging certain demographic subgroups. Discovering which biases a machine learning model has introduced is a great challenge, due to the numerous definitions of fairness and the large number of potentially impacted subgroups. We present FairVis, a mixed-initiative visual analytics system that integrates a novel subgroup discovery technique for users to audit the fairness of machine learning models. Through FairVis, users can apply domain knowledge to generate and investigate known subgroups, and explore suggested and similar subgroups. FairVis' coordinated views enable users to explore a high-level overview of subgroup performance and subsequently drill down into detailed investigation of specific subgroups. We show how FairVis helps to discover biases in two real datasets used in predicting income and recidivism. As a visual analytics system devoted to discovering bias in machine learning, FairVis demonstrates how interactive visualization may help data scientists and the general public understand and create more equitable algorithmic systems.

연구 동기 및 목표

• 다양한 민족적 특성(예: 인종과 성별)이 동시에 결합될 때만 나타나는 성능 격차가 발생하는 기계학습 모델에서 교차적 편향을 탐지하는 데 도전하는 것.
• 클러스터링과 공정성 지표를 활용해 성능이 열 劣한 교차 하위군을 자동으로 탐지함으로써 수동적인 하위군 탐색 부담을 줄이는 것.
• 특성 분포와 유사한 하위군 간 비교를 가능하게 하여 특정 하위군이 열 劣한 성능을 보이는 이유를 분석할 수 있도록 데이터 과학자들을 지원하는 것.
• 자동 제안과 도메인 지식을 통합하여 공정성 지표를 균형 잡고 모델 성능을 유지할 수 있도록 하는 것.
• 실제 데이터셋, 특히 재범 예측 및 소득 예측과 같은 고위험 분야에서 공정성 감사를 위한 상호작용적이고 확장 가능한 인터페이스 제공

제안 방법

• FAIRVIS는 협동적이고 상호작용적인 시각적 분석 아키텍처를 사용하며, 특성 분포, 하위군 개요, 상세 비교, 제안/유사 하위군 시각화 뷰를 포함한 연동된 뷰를 제공한다.
• 학습 데이터에 K-means 클러스터링을 적용하여 유사한 특성 패턴을 가진 인스턴스를 그룹화함으로써 통계적으로 유사한 하위군을 식별한다.
• 엔트로피 기반 특성 중요도를 계산하여 클러스터 내에서 공정성 지표 이상 현상에 영향을 주는 핵심 민족적 특성을 규명한다.
• 공정성 지표 값이 가장 낮은 하위군(예: 정확도, 양성 예측 오류 비율)을 기준으로 순위를 매기고 제안함으로써 집중적인 조사를 가능하게 한다.
• 특성 분포 간 통계적 발산(예: KL 발산)을 사용하여 유사한 하위군을 식별함으로써 비교 분석을 지원한다.
• 시스템은 하위군 간 공정성 지표와 기본 비율을 시각화하여 사용자가 성능을 비교하고 격차의 원인을 가설 수립할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 분석 시스템이 기계학습 모델의 교차적 편향 탐지에 효과적으로 기여할 수 있는가?
• RQ2 다중 교차 특성에 걸쳐 성능이 열 劣한 민족적 하위군을 자동으로 식별하는 데 어떤 기법이 유용한가?
• RQ3 하위군 간 유사성 측정 기법이 성능 격차의 근본 원인을 이해하는 데 어떻게 기여하는가?
• RQ4 자동 하위군 제안이 실제 데이터셋에서 사용자가 식별한 공정성 문제와 어느 정도 일치하는가?
• RQ5 연동된 시각화 인터페이스는 고차원적이고 복잡한 민족적·성별 하위군에서 공정성 지표 감사 가능성을 어떻게 향상시키는가?

주요 결과

• UCI 소득 데이터셋에서 FAIRVIS는 '기혼-시민배우자' 관계 상태와 '배우자' 관계를 가진 여성 하위군에서 모델 정확도가 최저 71%로 나타나 전체 데이터셋 평균 85%보다 크게 낮음을 확인했다.
• 비슷한 하위군인 '기혼-시민배우자' 관계 상태와 '자기자식' 관계를 가진 여성 하위군은 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿌리 깊은 데이터 부족과 클래스 불균형이 원인일 수 있음을 시사했다.
• 시스템은 재범 데이터셋에서 아프리카계 남성 하위군이 모든 인종-성별 하위군 중에서 가장 높은 양성 예측 오류 비율(70% 이상)을 보였으며, 상대적으로 높은 재현율을 기록했음에도 불구하고 심각한 공정성 문제를 드러냈다.
• 사용자들은 상세 비교 및 특성 분포 뷰를 통해 성능 격차가 기저 비율의 비대칭성과 작은 하위군 크기 등 특성 분포 불균형과 관련이 있음을 연결 지을 수 있었다.
• 제안 및 유사 하위군 뷰는 공정성 지표 성능이 비정상적인 하위군을 성공적으로 강조하여 고위험 그룹을 신속히 우선순위 정렬하고 추가 조사에 활용할 수 있도록 했다.
• 자동 하위군 제안과 사용자 주도 탐색의 통합은 공정성 감사의 효율성을 향상시켜 광범위한 수동 하위군 열거의 필요성을 줄였다.