[논문 리뷰] FACT: A Diagnostic for Group Fairness Trade-offs

Joon Sik Kim, Jiahao Chen외 1명|arXiv (Cornell University)|2020. 04. 07.

Ethics and Social Impacts of AI참고 문헌 28인용 수 12

한 줄 요약

이 논문은 보호적 특성에 따라 혼동 행렬을 분할함으로써 유도된 정의-혼동 텐서의 선형 또는 이차 함수로 정의되는 정의 개념을 표현함으로써 그룹 정의성 간의 상충 관계를 모델링하는 진단 프레임워크 FACT(Fairness-Confusion Tensor)를 소개한다. 이 방법은 PFOP, LAFOP 및 MS-LAFOP를 통해 정확도와 정의성을 체계적으로 최적화하며, 상충 관계를 드러내고 후처리를 통해 더 나은 정의성-정확도 균형을 이끌어내며, Synthetic 및 Adult를 포함한 실제 데이터셋에서 검증되었다.

ABSTRACT

Group fairness, a class of fairness notions that measure how different groups of individuals are treated differently according to their protected attributes, has been shown to conflict with one another, often with a necessary cost in loss of model's predictive performance. We propose a general diagnostic that enables systematic characterization of these trade-offs in group fairness. We observe that the majority of group fairness notions can be expressed via the fairness-confusion tensor, which is the confusion matrix split according to the protected attribute values. We frame several optimization problems that directly optimize both accuracy and fairness objectives over the elements of this tensor, which yield a general perspective for understanding multiple trade-offs including group fairness incompatibilities. It also suggests an alternate post-processing method for designing fair classifiers. On synthetic and real datasets, we demonstrate the use cases of our diagnostic, particularly on understanding the trade-off landscape between accuracy and fairness.

연구 동기 및 목표

• 다양한 그룹 정의성 개념과 모델 성능 간의 상충 관계를 진단하기 위한 일반적 프레임워크의 부재를 해결하기 위해.
• 통합된 텐서 표현을 통해 정의 개념과 혼동 행렬 간의 관계를 형식화하기 위해.
• 볼록 최적화를 통해 모델 독립적 및 모델 특정 분석을 가능하게 하여 정의성-정확도 상충 관계를 분석하기 위해.
• 모델 훈련 이전에 정의 제약 조건 간의 본질적 불일치를 식별할 수 있는 진단 도구를 제공하기 위해.
• 성능 손실를 최소화하면서 정의 제약 조건을 충족시키는 공정한 분류기의 후처리 방법을 개발하기 위해.

제안 방법

• 보호적 특성 축을 따라 표준 혼동 행렬을 분할함으로써 정의-혼동 텐서를 구성하여 성능과 정의성의 동시 모델링을 가능하게 한다.
• 대부분의 그룹 정의성 정의(예: 인구 통계적 평등, 동일 기회 차이)는 텐서 요소의 선형 또는 이차 함수로 표현된다.
• 성능-정의성 최적화 문제(PFOP)는 모델 파라미터가 아닌 텐서 요소에 대한 제약 조건 최적화로 공식화된다.
• 두 가지 특정 구현이 도입된다: 모델 독립적 분석을 위한 LAFOP(최소 제곱 정확도-정의성 최적화 문제)와 모델 특정 분석을 위한 MS-LAFOP(모델 특정 LAFOP).
• 진단은 볼록 최적화를 사용하여 다수의 정의 개념에 걸쳐 정의성-정확도 상충 관계를 시각화하는 파레토 경계를 계산한다.
• MS-LAFOP 해를 통해 혼합 비율을 유도함으로써 후처리가 가능해지며, 이는 어떤 사전 훈련된 분류기에도 적용되어 정의성을 향상시키면서 정확도 손실를 최소화할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 프레임워크가 공통 텐서 표현을 통해 다양한 그룹 정의성 개념을 표현할 수 있는가?
• RQ2 다양한 정의 제약 조건은 어떻게 상호작용하며, 그들 사이에 어떤 본질적 불일치가 존재하는가?
• RQ3 얼마나까지 정의성-정확도 상충 관계를 모델 훈련 이전에 진단하고 최적화할 수 있는가?
• RQ4 FACT 진단이 기존 방법보다 더 나은 정의성-정확도 균형을 달성하는 데 후처리를 이끌 수 있는가?
• RQ5 다양한 정의 개념이 모델 성능과 다른 정의 조건에 미치는 상대적 영향은 어떠한가?

주요 결과

• 정의-혼동 텐서는 대부분의 그룹 정의성 개념을 선형 또는 이차 함수로 성공적으로 포괄하여 체계적인 최적화를 가능하게 했다.
• FACT는 정의-정의 불일치가 본질적임을 드러내며, 텐서 프레임워크를 통해 모델 훈련 이전에 이를 진단할 수 있음을 보여주었다.
• Adult 데이터셋에서 FACT 솔루션은 Hardt 등(2016)의 EOd 솔루션보다 유의미하게 더 작은 정의성 갭을 달성하면서도 경쟁 가능한 정확도를 유지했다.
• 모델 특정 FACT 파레토 경계(MS-LAFOP)는 모델 독립적 경계보다 더 날카우며 현실적인 정의성-정확도 상충 관계의 경계를 제공한다.
• 진단 도구는 기존 방법보다 뛰어난 성능을 보이는 후처리를 가능하게 하여 성능 손실 없이 상충 관계를 줄였다.
• 이 프레임워크는 임의의 수의 정의 제약 조건에 일반화 가능하며, 정밀도나 재현율과 같은 다른 성능 지표로도 확장 가능하다.