[논문 리뷰] Fairness in machine learning: against false positive rate equality as a measure of fairness

Robert R. Long|arXiv (Cornell University)|2020. 07. 06.

Ethics and Social Impacts of AI참고 문헌 23인용 수 6

한 줄 요약

이 논문은 기계학습에서 거짓 양성률(FPR) 동일성의 공정성 지표로서의 윤리적 타당성을 도전하며, 이것이 범죄적으로 의미 있는 공정성의 기준을 추적하지 못한다고 주장한다. 윤리적 프레임워크를 사용하여 로버트 롱은 FPR 동일성이 공정성 원칙과 일치하지 않기 때문에 공정성 기준으로서의 타당성이 없음을 입증한다. 이는 캘리브레이션과 FPR 동일성 사이의 상호 배타성이라는 널리 퍼진 가정을 뒤집는다.

ABSTRACT

As machine learning informs increasingly consequential decisions, different metrics have been proposed for measuring algorithmic bias or unfairness. Two popular fairness measures are calibration and equality of false positive rate. Each measure seems intuitively important, but notably, it is usually impossible to satisfy both measures. For this reason, a large literature in machine learning speaks of a fairness tradeoff between these two measures. This framing assumes that both measures are, in fact, capturing something important. To date, philosophers have not examined this crucial assumption, and examined to what extent each measure actually tracks a normatively important property. This makes this inevitable statistical conflict, between calibration and false positive rate equality, an important topic for ethics. In this paper, I give an ethical framework for thinking about these measures and argue that, contrary to initial appearances, false positive rate equality does not track anything about fairness, and thus sets an incoherent standard for evaluating the fairness of algorithms.

연구 동기 및 목표

• 기계학습에서 거짓 양성률(FPR) 동일성이 공정성의 범죄적으로 의미 있는 측정기준이 되는지 여부를 검토하는 것.
• FPR 동일성과 캘리브레이션 간의 필수적인 공정성 상호 배타성으로 여겨지는 일반적인 가정을 도전하는 것.
• 공정성 지표에 대한 윤리적 분석을 제공하며, FPR 동일성이 도덕적으로 관련된 성질을 반영하는지에 중점을 두는 것.
• FPR 동일성이 범죄적 일관성이 없기 때문에 공정성 기준으로서 실패한다는 주장을 펼이는 것.
• FPR 동일성을 알고리즘 공정성의 합법적 기준으로 인정하지 않음으로써 공정성 논의를 재구성하는 것.

제안 방법

• 범죄 윤리학에 기반한 윤리적 프레임워크를 개발하여 공정성 지표를 평가하는 것.
• FPR 동일성과 캘리브레이션을 공정성 기준으로서의 개념적 및 도덕적 기초를 분석하는 것.
• 캘리브레이션과 FPR 동일성 간의 통계적 불가침성에 대해 분석하며, 둘 다 윤리적으로 정당화될 수 있는지 의문을 제기하는 것.
• 철학적 추론을 통해 FPR 동일성이 진정한 공정성 문제를 반영하는지 아니면 윤리적으로 타당하지 않은지 평가하는 것.
• 다른 공정성 측정기준과 FPR 동일성을 대비하여 그 개념적 결함을 드러내는 것.
• FPR 동일성이 공정성을 추적하지 못하기 때문에, 결과적으로 체계적 불공정성 조건에서도 만족될 수 있기 때문에 공정성 기준으로서의 가치가 떨어진다는 주장

실험 결과

연구 질문

• RQ1 기계학습에서 거짓 양성률 동일성이 공정성의 도덕적으로 중요한 기준이 될 수 있는가?
• RQ2 왜 FPR 동일성과 캘리브레이션 간의 일반적으로 인식된 상호 배타성이 윤리적으로 문제시되는가?
• RQ3 FPR 동일성은 범죄적 공정성 기준으로 정당화될 수 있는가, 아니면 개념적으로 타당성이 없는가?
• RQ4 알고리즘 의사결정에서의 공정성 평가에 기초가 되어야 할 윤리적 원칙은 무엇인가?
• RQ5 FPR 동일성이 공정성 지표로 실패할 경우, 알고리즘 공정성에 대한 광범위한 논의에 어떤 영향을 미치는가?

주요 결과

• 거짓 양성률 동일성은 공정성의 범죄적으로 중요한 성질을 반영하지 않기 때문에 알고리즘 공정성 평가의 기준으로서 실패한다.
• FPR 동일성이 의미 있는 공정성 지표로 여겨지는 것은 윤리적으로 정당화되지 않으며 개념적으로 타당성이 없다.
• 캘리브레이션과 FPR 동일성 사이의 널리 인용되는 상호 배타성은 FPR 동일성이 윤리적 기반을 지니지 못하기 때문에 잘못된 전제에 기반한다.
• FPR 동일성은 체계적 불공정성 조건에서도 달성될 수 있기 때문에 공정성의 열악한 대체 지표가 된다.
• 논문은 FPR 동일성이 기계학습 시스템의 윤리적 평가에서 공정성 기준으로 사용되어서는 안 된다고 결론 내린다.
• 논문에서 개발된 윤리적 프레임워크는 FPR 동일성을 기각하는 데 기반을 제공하며 同시에 캘리브레이션의 공정성 기준으로서의 정당성을 유지한다.