[논문 리뷰] Fairness On The Ground: Applying Algorithmic Fairness Approaches to Production Systems

Chloé Bakalar, Renata da Costa Barreto외 14명|arXiv (Cornell University)|2021. 03. 10.

Ethics and Social Impacts of AI참고 문헌 56인용 수 10

한 줄 요약

이 논문은 알고리즘적 공정성을 대규모 생산 시스템에 통합하기 위한 실용적 프레임워크를 제시한다. 이는 규범적 정책 결정과 경험적 구현 지표를 분리함으로써 이루어지며, 머신러닝 모델의 임계값 분석과 신호 탐지 이론을 활용해 그룹 간 손해와 이익의 명시적 트레이드오프를 기반으로 한 측정 방법을 도입함으로써 실제 시스템에서 실행 가능한 공정성 개선 조치를 가능하게 한다.

ABSTRACT

Many technical approaches have been proposed for ensuring that decisions made by machine learning systems are fair, but few of these proposals have been stress-tested in real-world systems. This paper presents an example of one team's approach to the challenge of applying algorithmic fairness approaches to complex production systems within the context of a large technology company. We discuss how we disentangle normative questions of product and policy design (like, "how should the system trade off between different stakeholders' interests and needs?") from empirical questions of system implementation (like, "is the system achieving the desired tradeoff in practice?"). We also present an approach for answering questions of the latter sort, which allows us to measure how machine learning systems and human labelers are making these tradeoffs across different relevant groups. We hope our experience integrating fairness tools and approaches into large-scale and complex production systems will be useful to other practitioners facing similar challenges, and illuminating to academics and researchers looking to better address the needs of practitioners.

연구 동기 및 목표

• 이론적 공정성 방법과 대규모 시스템에서의 실제 구현 간 격차를 해소한다.
• 규범적 정책 질문(예: 누가 비용을 떠넘기나)을 경험적 구현 질문(예: 시스템이 의도한 트레이드오프를 달성하는가)에서 분리한다.
• 다양한 인구집단 간 결정보다 비용과 이익을 명시적으로 드러내는 측정 프레임워크를 개발한다.
• 생산 환경에서의 머신러닝 기반 결정과 인간 레이블러 행동 양식에 모두 공정성 평가를 적용한다.
• 실천자와 연구자들이 실행 가능한 통찰을 확보할 수 있도록 확장 가능하고 맥락 인식형 공정성 접근법을 제공한다.

제안 방법

• 공정성을 제품 설계, 정책 수립, 시스템 구현의 세 수준으로 분리하여 타겟된 개선 조치를 유도한다.
• ML 모델이 그룹 간 임계값 발생 빈도 분석을 통해 참성과 참성의 오류 비율을 어떻게 우선순위화하는지 측정한다.
• 인간 레이블러가 사용하는 잠재적 결정보의 임계값을 추론하기 위해 신호 탐지 이론(Signal Detection Theory, SDT)을 적용하며, 이를 심리적 결정보의 결정자로 간주한다.
• 공정성을 손해(위양성, 위음성)와 이익 간의 트레이드오프로 프레임워크화하여 가치 기반 선택을 명시적으로 드러낸다.
• 공정성 측정 지표를 추상적인 통계적 평등성보다 실제 영향에 기반하여 측정함으로써 이해관계자 우선순위와의 일치를 확보한다.
• 특히 레이블 편향의 경우를 포함해 모델 행동과 인간 레이블링 관행을 진단함으로써 공정성 문제의 근본 원인 분석을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 규범적 공정성 결정(예: 이해관계자 간의 트레이드오프)을 생산 시스템에서 경험적 공정성 측정과 분리할 수 있는가?
• RQ2 어떤 지표가 머신러닝 시스템과 인간 레이블링 프로세스의 구현 수준 공정성에 효과적으로 측정할 수 있는가?
• RQ3 공정성 지표에 암묵적으로 내재된 가치 기반 선택을 어떻게 명시적이고 감사 가능한 방식으로 드러낼 수 있는가?
• RQ4 실제 시스템에서 인간 레이블러 편향을 추론하고 수정하기 위해 얼마나 신호 탐지 이론을 활용할 수 있는가?
• RQ5 측정 오차, 레이블 정확도 저하 또는 악성 행동이 있는 시스템에 표준 공정성 지표를 적용할 때의 한계는 무엇인가?

주요 결과

• 이 접근법은 규범적 결정(예: 오류 비용을 누가 떠넘길 것인가)과 경험적 측정을 성공적으로 분리하여 이해관계자 간의 일치를 명확히 한다.
• 임계값 발생 빈도 분석을 통해 머신러닝 시스템에서 다양한 인구집단 간 참성과 참성 오류 비율에 체계적인 차이가 있음을 확인하였으며, 이는 편향된 우선순위 설정을 시사한다.
• 신호 탐지 이론을 통해 인간 레이블러가 사용하는 잠재적 결정보의 임계값을 추론할 수 있었으며, 이는 레이블링 행동의 일관성 부족과 편향을暴露했다.
• 레이블링 편향은 지침, 선별 절차, 인센티브에 매우 민감하게 반응함을 발견하여 행동 개선 조치로 균형을 바로잡을 수 있음을 시사한다.
• 특성 레이블링의 측정 오차—특히 자가 보고가 아닌 추론에 의해 이루어지는 경우—는 공정성 평가에 상당한 왜곡을 초래할 수 있다.
• 단일 지표로는 복잡한 시스템을 충분히 평가할 수 없으며, 피드백 루프에서 나타나는 상호작용의 특성상 구성요소 수준 및 시스템 전체 수준에서 공정성 평가가 필요하다.