[논문 리뷰] Rawlsian Fairness for Machine Learning.

Matthew Joseph, Michael Kearns외 3명|arXiv (Cornell University)|2016. 10. 29.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 49

한 줄 요약

이 논문은 라울스의 정의론적 공정성—특히 기회 평등—을 기반으로 한 기계학습 알고리즘을 제안하여 온라인 의사결정에서의 차별을 줄인다. 개선된 리그레트 경계를 가진 공정한 컨텍스트 밴디트 알고리즘과 편향을 측정하기 위한 차별 지수를 도입하여, 표준 방법에서 관찰되는 구조적 차별적 행동을 피하는 공정한 알고리즘이 있음을 보여준다.

ABSTRACT

Motivated by concerns that automated decision-making procedures can unintentionally lead to discriminatory behavior, we study a technical definition of fairness modeled after John Rawls' notion of equality of opportunity. In the context of a simple model of online decision making, we give an algorithm that satisfies this fairness constraint, while still being able to learn at a rate that is comparable to (but necessarily worse than) that of the best algorithms absent a fairness constraint. We prove a regret bound for algorithms in the linear contextual bandit framework that is a significant improvement over our technical companion paper [16], which gives black-box reductions in a more general setting. We analyze our algorithms both theoretically and experimentally. Finally, we introduce the notion of a discrimination index, and show that standard algorithms for our problem exhibit structured discriminatory behavior, whereas the fair algorithms we develop do not.

연구 동기 및 목표

• 자동화된 의사결정 시스템에서 의도하지 않은 차별적 결과를 유발할 수 있는 공정성 문제를 다루기 위해.
• 라울스의 공정성—기회 평등—을 온라인 학습에서의 기술적 제약 조건으로 정식화하기 위해.
• 공정성 제약 조건을 만족시키면서도 학습 성능을 유지하는 알고리즘을 개발하기 위해.
• 다양한 알고리즘 간의 편향된 행동을 실증적으로 측정하고 비교하기 위해 차별 지수를 도입하기 위해.

제안 방법

• 라울스의 기회 평등 원칙을 온라인 의사결정에서의 공정성 제약 조건으로 적용한다.
• 학습 성능와 공정성을 균형 잡는 선형 컨텍스트 밴디트 프레임워크 내에서 공정한 알고리즘을 설계한다.
• 일반적인 설정에서 이전의 블랙박스 감소 기법보다 향상된 리그레트 경계를 유도한다.
• 학습 알고리즘에서의 구조적 차별적 행동을 정량화하고 탐지하기 위해 차별 지수를 도입한다.
• 이론적 분석과 실험적 평가를 통해 공정성과 성능 간의 트레이드오프를 검증한다.
• 이론적 리그레트 분석과 실증적 검증을 병행하여 표준 알고리즘과 공정한 알고리즘을 비교한다.

실험 결과

연구 질문

• RQ1 라울스의 공정성은 온라인 기계학습 시스템에서 어떻게 형식적으로 정의되고 구현될 수 있는가?
• RQ2 학습 리그레트 측면에서 라울스의 공정성을 강제로 적용할 경우 성능에 어떤 비용이 발생하는가?
• RQ3 차별 지수는 표준 학습 알고리즘에서의 구조적 차별적 행동을 효과적으로 탐지하고 정량화할 수 있는가?
• RQ4 이 프레임워크에 따라 개발된 공정한 알고리즘은 표준 방법에서 관찰되는 차별 패턴을 피하는가?
• RQ5 제안된 공정한 알고리즘의 리그레트는 제약 조건이 없는 기준 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 공정한 알고리즘은 기술적 보조 논문에서의 블랙박스 감소 기법보다 유의미하게 향상된 리그레트 경계를 달성한다.
• 표준 알고리즘은 차별 지수로 측정했을 때 구조적 차별적 행동을 보이며, 이는 제안된 공정한 알고리즘에는 존재하지 않는다.
• 공정한 알고리즘은 제약 조건이 없는 알고리즘과 비교해 반드시 열 劣하긴 하지만, 학습 성능를 유사하게 유지한다.
• 차별 지수는 표준 학습 방법에서의 편향 패턴을 성공적으로 식별하고 정량화한다.
• 이론적 및 실험적 결과는 공정한 알고리즘이 기준 모델에서 관찰되는 차별적 행동을 피한다는 것을 확인한다.