[논문 리뷰] Joint Optimization of AI Fairness and Utility: A Human-Centered Approach

Yunfeng Zhang, Rachel Bellamy외 1명|arXiv (Cornell University)|2020. 02. 05.

Ethics and Social Impacts of AI참고 문헌 16인용 수 32

한 줄 요약

이 논문은 분석적 계층 구조법(AHP)을 통해 정책 입안자들의 선호도를 도출한 후 베이지안 최적화를 사용하여 정당성 지표(통계적 평등성 차이, 가중 평균 오차 차이)와 유틸리티를 균형 잡는 모델 임계값을 찾는 인간 중심의 프레임워크를 제안한다. 주요 기여는 이해관계자들이 투명하게 상호 보완 관계를 정의할 수 있도록 하는 원칙적이고 상호작용 가능한 방법으로, 이는 실제 세계의 정의 기준을 반영하면서도 높은 유틸리티를 유지하는 모델을 가능하게 한다.

ABSTRACT

Today, AI is increasingly being used in many high-stakes decision-making applications in which fairness is an important concern. Already, there are many examples of AI being biased and making questionable and unfair decisions. The AI research community has proposed many methods to measure and mitigate unwanted biases, but few of them involve inputs from human policy makers. We argue that because different fairness criteria sometimes cannot be simultaneously satisfied, and because achieving fairness often requires sacrificing other objectives such as model accuracy, it is key to acquire and adhere to human policy makers' preferences on how to make the tradeoff among these objectives. In this paper, we propose a framework and some exemplar methods for eliciting such preferences and for optimizing an AI model according to these preferences.

연구 동기 및 목표

• 기존의 AI 정의성 기법들이 정의성과 유틸리티 간의 상호보완 관계에 대한 인간 정책 입안자의 입력을 반영하지 못하는 격차를 해소하기 위해.
• 정의 기준과 모델 성능에 대한 이해관계자 선호도를 체계적으로 도출하기 위한 접근법을 개발하기 위해.
• 이러한 선호도를 기반으로 AI 모델을 최적화하여 정의성과 유틸리티가 이해관계자 우선순위에 따라 균형을 이루도록 하기 위해.
• 법원 판사, 피고인, 시민과 같은 다양한 이해관계자가 공정한 AI 결정을 함께 설계할 수 있도록 지원하는 투명하고 상호작용 가능한 시스템을 만들기 위해.

제안 방법

• 정의 지표(통계적 평등성 차이, WAOD)와 유틸리티 간의 상대적 선호도를 도출하기 위해 분석적 계층 구조법(AHP)을 사용한다.
• AHP의 쌍대 비교 결과를 정규화된 가중치로 변환하여 일관성을 자동으로 점검한다.
• 도출된 가중치를 사용해 정의성과 유틸리티를 하나의 목적 함수로 통합하며, 유틸리티는 최대화하고 정의성 지표는 최소화한다.
• 트리 오브 파르젠 추정기(TPE)를 사용한 베이지안 최적화를 적용하여 특권이 있는 집단과 특권이 없는 집단의 최적 분류 임계값을 탐색한다.
• 도메인 특화 스케일(예: 유틸리티는 100, SPD와 WAOD는 0.1)을 사용해 지표를 정규화하여 단위를 통일하고 최적화의 안정성을 향상시킨다.
• 미국 노동부 EEOC 지침을 준수하기 위해, 차별적 영향 비율이 [0.8, 1.25] 범위를 벗어나는 해를 거부함으로써 법적 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 고위험 AI 응용 분야에서 정의성 대 유틸리티 상호보완 관계에 대한 정책 입안자들의 선호도를 체계적으로 도출할 수 있는 방법은 무엇인가?
• RQ2 다양한 선호도 가중치 설정이 결과 모델의 정의성 및 유틸리티 지표에 미치는 영향은 무엇인가?
• RQ3 사용자 정의 제약 조건 하에 여러 정의 기준(SPD 및 WAOD)과 모델 유틸리티를 효과적으로 균형 잡는 공동 최적화 프레임워크는 가능한가?
• RQ4 다양한 선호도 프로파일, 특히 유틸리티 최대화 또는 정의성 편차 최소화와 같은 극단 케이스에서 이 프레임워크의 성능은 어떠한가?
• RQ5 충돌하는 우선순위를 가진 다수의 이해관계자로부터의 선호도를 집계할 수 있도록 프레임워크를 확장할 수 있는가?

주요 결과

• 유틸리티를 우선시하는 선호도 설정에서, 최대 유틸리티(130)를 달성한 모델이 성공적으로 도출되었으며, 유틸리티 95.0%와 -0.06 SPD를 기록했다.
• 절대 SPD를 최소화하는 설정에서, SPD = 0.00, WAOD = 0.14를 달성하여 근사적으로 완벽한 정의성 수준을 확보했으며, 효과적인 편향 완화가 이루어졌다.
• 균형 잡힌 선호도 설정에서는 유틸리티 95.1%, SPD = -0.01, WAOD = 0.14를 달성하여 정의성과 유틸리티 간의 강력한 상호보완 관계를 보였다.
• 베이지안 최적화 과정은 표본 1에서 확인된 일관된 지표 결과를 바탕으로 모든 선호도 설정에서 안정적으로 최적의 임계값으로 수렴했다.
• 이 프레임워크는 충돌하는 정의 기준을 효과적으로 조율하고 다양한 이해관계자 관점에서 투명하고 원칙적인 의사결정을 가능하게 했다.