[논문 리뷰] Rethinking Algorithmic Fairness for Human-AI Collaboration

Haosen Ge, Hamsa Bastani외 1명|arXiv (Cornell University)|2023. 10. 05.

Ethics and Social Impacts of AI인용 수 2

한 줄 요약

이 논문은 인간-AI 협업 환경에서의 알고리즘 추천을 위한 새로운 프레임워크인 준수 강건성 공정성(compliance-robust fairness)을 소개한다. 이 프레임워크는 모든 가능한 인간 준수 패턴에 대해 약하게 향상된 공정성을 보장한다. 선택적 준수 상황에서도 공정성과 성능을 향상시키는 최적화 기반 방법을 제안하며, 버지니아 형량 데이터를 바탕으로 이러한 정책이 전통적인 공정 알고리즘보다 실제 공정성 결과에서 뛰어나지만, 고립 상태에서는 상충 관계가 있을 수 있음을 입증한다.

ABSTRACT

Existing approaches to algorithmic fairness aim to ensure equitable outcomes if human decision-makers comply perfectly with algorithmic decisions. However, perfect compliance with the algorithm is rarely a reality or even a desirable outcome in human-AI collaboration. Yet, recent studies have shown that selective compliance with fair algorithms can amplify discrimination relative to the prior human policy. As a consequence, ensuring equitable outcomes requires fundamentally different algorithmic design principles that ensure robustness to the decision-maker's (a priori unknown) compliance pattern. We define the notion of compliance-robustly fair algorithmic recommendations that are guaranteed to (weakly) improve fairness in decisions, regardless of the human's compliance pattern. We propose a simple optimization strategy to identify the best performance-improving compliance-robustly fair policy. However, we show that it may be infeasible to design algorithmic recommendations that are simultaneously fair in isolation, compliance-robustly fair, and more accurate than the human policy; thus, if our goal is to improve the equity and accuracy of human-AI collaboration, it may not be desirable to enforce traditional algorithmic fairness constraints. We illustrate the value of our approach on criminal sentencing data before and after the introduction of an algorithmic risk assessment tool in Virginia.

연구 동기 및 목표

• 실제 고위험 환경에서 흔히 발생하지 않는 완벽한 인간 준수를 전제로 하는 알고리즘 공정성 연구의 핵심적 격차를 해소하기 위해.
• 사전에 알려지지 않은 인간 의사결정자의 준수 행동 패턴에 관계없이 최종 결정에서 약하게 향상된 공정성을 보장하는 알고리즘 추천 정책을 식별하기 위해.
• 예측 불가능하고 잠재적으로 편향된 준수 패턴에 강건한 정책을 설계하여 인간-AI 협업에서 공정성과 성능을 조화시키기 위해.
• 선택적 준수가 존재할 경우 전통적인 공정성 제약 조건이 오히려 역효과를 낼 수 있으며, 고립 상태에서의 공정성이 협업 환경에서의 공정성을 보장하지 못한다는 점을 입증하기 위해.

제안 방법

• 알고리즘 추천이 어떤 인간 준수 패턴이든 최종 결정에서 공정성을 약하게 향상시키는 성질로 준수 강건성 공정성을 정의한다.
• 인간의 기본 정책을 기준으로 삼아, 최고의 성능을 보이는 준수 강건성 공정 정책을 계산하기 위한 최적화 문제를 수립한다.
• 관측된 (특성, 행동) 조합에 대해 준수 강건 정책을 룩업 테이블로 표현하며, 미관측 조합에는 인간 정책을 기본값으로 사용한다.
• 로지스틱 회귀 모델을 사용해 준수 행동을 분석하고, 특히 AI 추천이 백인 피고인에게 유리할 경우 판사가 더 많이 준수하는지 테스트한다.
• 실제 형량 데이터를 바탕으로 버지니아 주의 170名 판사에 대해 정책을 평가하며, 다양한 추천 전략 하에서의 성능 및 공정성 결과를 비교한다.
• 알고리즘 1을 적용하여 각 판사의 준수 강건 정책 $\pi^{\text{robust}}_A$를 유도함으로써, 준수 패턴에 관계없이 공정성 향상이 보장되도록 한다.

실험 결과

연구 질문

• RQ1 선택적이고 잠재적으로 편향된 인간 준수 상황에서도 인간-AI 협업에서 공정성을 향상시키는 알고리즘 추천을 설계할 수 있는가?
• RQ2 인간-AI 협업에서 전통적 알고리즘 공정성, 준수 강건성 공정성, 성능 향상 간의 상충 관계는 어떠한가?
• RQ3 고립 상태에서 공정하고, 준수 강건성 공정성이며, 인간 정책보다 더 정확한 정책을 동시에 설계할 수 있는가?
• RQ4 특정 디모그래픽 그룹을 향한 준수 패턴이 협업 의사결정에서 기존 편향을 어떻게 증폭하거나 완화하는가?

주요 결과

• 전통적인 공정성 접근 방식과 달리, 준수 강건 정책 $\pi^{\text{robust}}_A$ 는 모든 판사의 준수 패턴에 관계없이 약하게 향상된 공정성과 성능을 보장한다.
• 기존에 공정성을 고려한 정책 $\pi^{\text{trad-fair}}_C$ 는 평균 공정성과 정확도를 향상시켰지만, 14%의 판사가 선택적 준수로 인해 공정성 악화를 겪었다.
• 성능을 최적화한 정책 $\pi^*_C$ 는 54%의 판사에서 공정성 악화를 유발했으며, 이는 고립 상태에서 성능 최적화된 추천이 위험을 내포하고 있음을 시사한다.
• 중요한 준수 편향이 발견되었으며, AI 추천이 백인 피고인에게 더 유리할 경우 판사가 더 많이 준수하는 경향이 있었고, 특히 AI가 더 유리한 추천을 내릴 경우 이는 인종적 격차를 악화시켰다.
• 준수 강건 정책은 이 편향을 효과적으로 중화시켰으며, 준수 모델에서 상호작용 항목 $\beta_3$ 가 유의미하지 않다는 점에서 편향의 체계적 증폭이 없음을 보여주었다.
• 버지니아 형량 데이터를 바탕으로 한 실제 평가에서, 준수 강건 정책은 고립 상태에서 최적의 전통적 공정 정책보다 더 강한 공정성 향상을 달성했다.