[논문 리뷰] Enhancing the Accuracy and Fairness of Human Decision Making

Isabel Valera, Adish Singla외 1명|arXiv (Cornell University)|2018. 05. 25.

Game Theory and Voting Systems인용 수 20

한 줄 요약

이 논문은 전문가를 순차적으로 할당하여 인간 주도 이진 결정—예를 들어 보석 판결이나 학술 심사—의 정확성과 공정성을 향상시키기 위해 순차적 결정 프레임워크를 제안한다. 전문가를 임계값 기반 의사결정자로 모델링하고 제약 조건이 있는 이분 매칭 문제를 해결함으로써 이루어진다. 탐색과 이용의 균형을 확보하기 위해 사후 표본 추출을 사용하여 하위선형의 회귀를 달성하며, 편향된 전문가나 알려지지 않은 임계값이 존재하더라도 무작위 할당보다 공정성과 유틸리티를 크게 향상시킨다.

ABSTRACT

Societies often rely on human experts to take a wide variety of decisions affecting their members, from jail-or-release decisions taken by judges and stop-and-frisk decisions taken by police officers to accept-or-reject decisions taken by academics. In this context, each decision is taken by an expert who is typically chosen uniformly at random from a pool of experts. However, these decisions may be imperfect due to limited experience, implicit biases, or faulty probabilistic reasoning. Can we improve the accuracy and fairness of the overall decision making process by optimizing the assignment between experts and decisions? In this paper, we address the above problem from the perspective of sequential decision making and show that, for different fairness notions from the literature, it reduces to a sequence of (constrained) weighted bipartite matchings, which can be solved efficiently using algorithms with approximation guarantees. Moreover, these algorithms also benefit from posterior sampling to actively trade off exploitation---selecting expert assignments which lead to accurate and fair decisions---and exploration---selecting expert assignments to learn about the experts' preferences and biases. We demonstrate the effectiveness of our algorithms on both synthetic and real-world data and show that they can significantly improve both the accuracy and fairness of the decisions taken by pools of experts.

연구 동기 및 목표

• 알고리즘 편향에 대한 우려가 증가하는 상황에서도 인간 의사결정의 공정성을 보장하기 위한 기계학습 방법의 부족을 해결하기 위해.
• 보석 판결이나 논문 심사와 같은 순차적 인간 결정의 정확성과 공정성을 향상시키기 위해 전문가 풀에서 최적의 전문가 할당을 통해 달성하기 위해.
• 전문가 행동을 임계값 기반 의사결정 규칙으로 모델링하고, 차별적 영향과 같은 공정성 제약 조건을 통합하기 위해.
• 전문가 임계값이 알려지지 않은 경우 탐색과 이용의 균형을 효과적으로 확보하기 위해 사후 표본 추출을 사용하여 회귀를 감소시키기 위해.
• 제안된 방법이 합성 데이터와 실제 범죄 사법 데이터(COMPAS)에서의 효과를 입증하여 편향과 전문가 풀의 다양성에 대해 강건함을 보여주기 위해.

제안 방법

• 각 전문가를 조건부 확률이 학습되고 예측 위험에 대한 임계값이 설정된 임계값 기반 의사결정 규칙으로 모델링한다.
• 공정성 제약 조건이 없을 경우 전문가 할당 문제를 정확히 다항 시간 내에 해결 가능한 가중 이분 매칭 문제의 시퀀스로 축소한다.
• 공정성 제약 조건(예: 차별적 영향)이 있을 경우, 제한된 색상 매칭 문제로 공식화하며, 이는 이중 기준 LP 기반 알고리즘을 통해 1/2의 근사 보장을 가진 채택 가능하다.
• 알려지지 않은 전문가 임계값을 추정하기 위해 사후 표본 추출을 사용하여, 점 추정치 대비 선형 회귀를 겪는 선형 회귀를 피하는 활동적 학습을 가능하게 한다.
• 순차적 결정 프레임워크 내에서 탐색(전문가 편향 학습)과 이용(최적의 할당 선택)을 통합한다.
• 데이터로부터 진정한 조건부 확률 $ p_{Y|X,Z} $ 를 추정하기 위해 로지스틱 회귀를 사용하며, 이는 의사결정 규칙과 임계값 추정에 기여한다.

실험 결과

연구 질문

• RQ1 순차적 인간 의사결정에서 정확성과 공정성을 모두 향상시키기 위해 전문가 할당을 최적화할 수 있는가?
• RQ2 차별적 영향과 같은 공정성 제약 조건을 전문가 할당 알고리즘에 공식적으로 통합할 수 있는가?
• RQ3 전문가 다양성(예: 관대한 vs. 엄격한 판사)이 공정한 할당의 가능성과 성능에 어떤 영향을 미치는가?
• RQ4 전문가 임계값이 알려지지 않았을 경우 사후 표본 추출이 점 추정치와 비교하여 어떻게 성능을 높이는가?
• RQ5 의사결정에 영향을 미치는 민감한 집단에 대해 상당한 비율의 전문가가 편향되어 있을 경우, 알고리즘이 얼마나 공정성을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 합성 데이터와 실제 범죄 사법 데이터(COMPAS) 모두에서 랜덤 할당보다 높은 기대 및 실제 유틸리티를 달성하여 의사결정 정확도 향상을 입증한다.
• 알고리즘은 특히 전문가 풀이 다양할 경우 랜덤 할당보다 훨씬 효과적으로 차별적 영향을 감소시켜 공정성을 측정하는 데 성공한다.
• 판사의 50%가 민감한 속성(예: 인종)에 대해 편향되어 있어도 알고리즘은 최적의 전문가-결정 할당을 선택하여 공정성을 유지한다.
• 사후 표본 추출은 임계값 추정에서 하위선형 회귀를 가능하게 하여 점 추정치가 선형 회귀를 겪는 것보다 뛰어난 성능을 발휘한다.
• 전문가 풀의 다양성이 증가할수록 유효한 할당을 찾을 확률이 증가함에 따라 저차의 차별적 영향을 달성할 수 있는 가능성도 증가한다.
• 전문가 임계값이 알려지지 않은 경우에도 알고리즘이 효과적으로 작동하며, 사후 표본 추출을 통해 활동적 학습을 통해 정확하고 공정한 할당을 가능하게 한다.