[논문 리뷰] Model-Agnostic Characterization of Fairness Trade-offs

Joon Sik Kim, Jiahao Chen외 1명|arXiv (Cornell University)|2020. 04. 07.

Ethics and Social Impacts of AI인용 수 1

한 줄 요약

이 논문은 정의된 속성 값별로 혼동 행렬을 분할하는 정의-혼동 텐서를 사용하여, 그룹 형평성 개념과 모델 정확도 사이의 상호작용을 체계적으로 분석하는 모델에 종속되지 않는 진단 프레임워크를 제안한다. 이 텐서를 기반으로 최적화 문제를 수립함으로써 형평성 기준 간의 불가침성을 드러내고, 공정한 분류기의 후처리를 가능하게 하며, 시뮬레이션 및 실세계 데이터셋에서 효과적으로 입증된다.

ABSTRACT

Group fairness, a class of fairness notions that measure how different groups of individuals are treated differently according to their protected attributes, has been shown to conflict with one another, often with a necessary cost in loss of model's predictive performance. We propose a general diagnostic that enables systematic characterization of these trade-offs in group fairness. We observe that the majority of group fairness notions can be expressed via the fairness-confusion tensor, which is the confusion matrix split according to the protected attribute values. We frame several optimization problems that directly optimize both accuracy and fairness objectives over the elements of this tensor, which yield a general perspective for understanding multiple trade-offs including group fairness incompatibilities. It also suggests an alternate post-processing method for designing fair classifiers. On synthetic and real datasets, we demonstrate the use cases of our diagnostic, particularly on understanding the trade-off landscape between accuracy and fairness.

연구 동기 및 목표

• 다양한 그룹 형평성 개념 간의 갈등이 모델 예측 성능을 저하시키는 문제를 해결하기 위해.
• 다양한 형평성 기준 간의 형평성과 정확도 사이의 상호작용을 체계적으로 특성화하는 일반적인 진단 도구를 개발하기 위해.
• 공통된 텐서 표현을 통해 그룹 형평성 개념 간의 불가침성을 통합된 프레임워크로 이해하기 위해.
• 진단 결과에서 도출된 통찰을 바탕으로 후처리를 통해 공정한 분류기 설계를 가능하게 하기 위해.

제안 방법

• 보호된 특성 값에 따라 혼동 행렬을 분할하는 정의-혼동 텐서를 통해 형평성 상호작용를 표현하기 위해.
• 텐서의 요소를 활용하여 정확도를 최대화하고 여러 형평성 기준에 걸쳐 형평성 위반을 최소화하는 최적화 문제를 수립하기 위해.
• 정의-혼동 텐서의 구조를 분석함으로써 형평성의 일반적인 불가침성에 대한 통찰을 도출하기 위해.
• 최적화된 텐서 구조를 기반으로 한 공정한 분류를 위한 대체 후처리 방법을 제안하기 위해.
• 진단 상호작용의 시각화 및 평가를 위해 시뮬레이션 및 실세계 데이터셋에 이 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 다양한 그룹 형평성 개념 간의 형평성 상호작용를 체계적으로 진단하고 시각화하는 방법은 무엇인가?
• RQ2 일반적인 그룹 형평성 기준 간에 존재하는 불가침성은 무엇이며, 이는 모델 정확도에 어떻게 영향을 미치는가?
• RQ3 정의-혼동 텐서가 다양한 형평성 목표의 분석을 얼마나 잘 통합할 수 있는가?
• RQ4 제안된 최적화 프레임워크는 실무에서 개선된 형평성-정확도 상호작용를 이끌어낼 수 있는가?
• RQ5 진단에서 유도된 후처리 방법은 공정한 분류기를 생성하는 데 얼마나 효과적인가?

주요 결과

• 정의-혼동 텐서는 여러 그룹 형평성 개념을 효과적으로 캡처하고 통합하여 정확도와 형평성의 공동 분석을 가능하게 한다.
• 프레임워크는 정확도가 최적화되어 있더라도, 인구 통계적 형평성과 동일 기회와 같은 형평성 기준 간의 내재된 불가침성을 드러낸다.
• 정의-혼동 텐서에 대한 최적화는 정확도 손실이 크지 않은 범위에서 다양한 지표에서 향상된 형평성 성능을 이끈다.
• 프레임워크에서 파생된 후처리 방법은 실세계 데이터셋에서 경쟁적인 형평성 결과를 달성하면서도 모델의 유용성을 유지한다.
• 시뮬레이션 및 실세계 데이터셋에 대한 실증 평가를 통해 진단 도구가 복잡한 형평성 상호작용 지도를 시각화하고 이해하는 데 유용함을 확인했다.