[논문 리뷰] Dynamic fairness - Breaking vicious cycles in automatic decision making

Benjamin Paaßen, Astrid Bunge외 3명|arXiv (Cornell University)|2019. 02. 01.

Ethics and Social Impacts of AI참고 문헌 10인용 수 9

한 줄 요약

이 논문은 자동 결정 시스템이 피드백 루프를 통해 정확도와 공정성 기준을 충족하더라도 장기적인 불평등을 지속시킬 수 있는 동적 공정성 프레임워크를 제안한다. 분석 결과, 악순환을 방지하는 유일한 조건은 민족적 비율(대등성)임을 입증하며, 이는 장기적으로 안정적이고 공정한 결과를 보장한다.

ABSTRACT

In recent years, machine learning techniques have been increasingly applied in sensitive decision making processes, raising fairness concerns. Past research has shown that machine learning may reproduce and even exacerbate human bias due to biased training data or flawed model assumptions, and thus may lead to discriminatory actions. To counteract such biased models, researchers have proposed multiple mathematical definitions of fairness according to which classifiers can be optimized. However, it has also been shown that the outcomes generated by some fairness notions may be unsatisfactory. In this contribution, we add to this research by considering decision making processes in time. We establish a theoretic model in which even perfectly accurate classifiers which adhere to almost all common fairness definitions lead to stable long-term inequalities due to vicious cycles. Only demographic parity, which enforces equal rates of positive decisions across groups, avoids these effects and establishes a virtuous cycle, which leads to perfectly accurate and fair classification in the long term.

연구 동기 및 목표

• 피드백 루프가 자동 결정 시스템에서 장기적인 불평등을 어떻게 내재하고 증폭시킬 수 있는지 분석하기 위해.
• 민족적 비율 이외의 공정성 정의가 그룹 성과의 지속적인 격차를 방지할 수 있는지 조사하기 위해.
• 다이나믹 시스템 프레임워크를 사용하여 분류기 결정이 그룹의 성공률에 장기적으로 어떤 영향을 미치는지 모델링하기 위해.
• 공정한 분류기가 장기적으로 안정적이고 공정한 결과를 낳는 조건을 특정하기 위해.
• 민족적 비율이 유일하게 동적 결정 환경에서 불안정한 피드백 루프를 피하는 이유를 입증하기 위해.

제안 방법

• 저자들은 보호 그룹의 향후 성공률에 영향을 미치는 분류기 결정을 모델링하는 동적 시스템을 구성한다.
• 긍정적인 결정이 향후 성공 가능성을 높여 자기강화적 순환을 만드는 피드백 메커니즘을 정의한다.
• 위험 점수를 정규분포로 모델링하고, 임계값 기반 분류기를 사용하여 결정을 내린다.
• 다양한 공정성 정의 하에서 평형점의 안정성을 평가하기 위해 자코비안 행렬을 사용한 안정성 분석을 수행한다.
• 불리한 평형점(격차가 지속됨)과 바람직한 평형점(모든 그룹이 동등하게 대우됨)을 모두 평가하는 모델을 구성한다.
• 소음 수준(σ)과 피드백 강도(β)의 영향을 중심으로, 바람직한 평형점이 불안정해지는 조건을 규명하기 위해 민감도 분석을 실시한다.

실험 결과

연구 질문

• RQ1 일반적인 공정성 기준을 충족하고 정확도가 완벽한 분류기라도 장기적인 불평등을 초래할 수 있는가?
• RQ2 자동 결정 시스템에서 피드백 기반 격차를 방지하는 데 민족적 비율이 수행하는 역할은 무엇인가?
• RQ3 동적 결정 시스템에서 바람직한 평형점이 불안정해지는 조건은 무엇인가?
• RQ4 결정과 결과 간의 피드백 루프가 장기적 공정성에 어떤 영향을 미치는가?
• RQ5 왜 민족적 비율만 다른 공정성 개념들과는 달리 장기적 결과를 안정화하는가?

주요 결과

• 등가된 우도나 기타 공정성 정의를 충족하는 정확도가 완벽한 분류기라도 피드백 루프로 인해 안정적인 장기적 불평등을 초래할 수 있다.
• 모델은 민족적 비율 외의 공정성 정의가 장기적으로 지속되는 격차를 초래하는 불리한 평형점에 도달함을 보여준다.
• 민족적 비율은 오직 유일하게 모든 그룹이 동일한 성공률을 달성하는 안정적이고 바람직한 평형점으로 이어지는 공정성 개념이다.
• 소음 수준 σ가 충분히 작을 경우 바람직한 평형점이 불안정해지며, 이는 작은 흐름 변화가 공정성을 파괴할 수 있음을 시사한다.
• 비민족적 비율 평형점의 불안정성은 자코비안 분석을 통해 수학적으로 증명되었으며, 특정 조건 하에서 고유값의 크기가 1을 초과함을 보였다.
• 결과적으로 동적 피드백 효과는 분류기가 정적 공정성 기준을 최적화하더라도 공정성을 약화시킬 수 있음을 입증한다.