[논문 리뷰] Identifying Biased Subgroups in Ranking and Classification

Eliana Pastor, Luca de Alfaro외 1명|arXiv (Cornell University)|2021. 08. 17.

Imbalanced Data Classification Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 분류 및 랭킹 시스템에서 전반적인 모델 성능과의 통계적 발산을 측정하여 편향된 데이터 하위군을 자동으로 탐지하는 방법을 제안한다. 빈도 기반 항목집합 마이닝과 셰플리 값(Shapley values)을 활용해, 극단적인 FPR/FNR 또는 복리 불균형을 보이는 하위군을 식별하고 각 속성이 편향에 기여하는 정도를 정량화함으로써, 민감 속성에 대한 사전 지식이 없이도 대상별 정당한 공정성 감사가 가능하게 한다.

ABSTRACT

When analyzing the behavior of machine learning algorithms, it is important to identify specific data subgroups for which the considered algorithm shows different performance with respect to the entire dataset. The intervention of domain experts is normally required to identify relevant attributes that define these subgroups. We introduce the notion of divergence to measure this performance difference and we exploit it in the context of (i) classification models and (ii) ranking applications to automatically detect data subgroups showing a significant deviation in their behavior. Furthermore, we quantify the contribution of all attributes in the data subgroup to the divergent behavior by means of Shapley values, thus allowing the identification of the most impacting attributes.

연구 동기 및 목표

• 기계학습 모델이 전반적인 데이터셋과 비교해 상당히 다른 성능을 보이는 데이터 하위군을 식별하는 데 도전하는 것.
• 민감 속성 또는 사전 정의된 보호 그룹에 대한 사전 지식이 없이도 편향된 하위군을 자동으로 탐지하는 것.
• 셰플리 값(Shapley values)을 사용해 개별 속성이 하위군 발산에 기여하는 정도를 정량화하여 실질적인 통찰을 제공하는 것.
• 이러한 접근을 분류 및 랭킹 시나리오 모두에 확장하여 다양한 기계학습 응용 분야에서의 공정성 감사 가능성을 높이는 것.

제안 방법

• 전반적인 데이터셋과 하위군 간의 성능 통계(예: FPR, FNR, 복리)의 차이를 측정하기 위한 발산 지표를 도입한다.
• 지정된 지지 임계값 이상의 속성 값 조합으로 정의된 하위군을 효율적으로 탐색하기 위해 빈도 기반 항목집합 마이닝(FP-growth 등)을 활용한다.
• 마이닝 과정 중 각 항목집합에 대해 결과 통계(예: 평균 복리, 오분류율)를 계산하여 발산을 판단한다.
• 각 개별 속성 값이 항목집합의 총 발산에 기여하는 정도를 분해하기 위해 셰플리 값을 적용한다.
• 지지 임계값을 사용해 하위군을 필터링하여 통계적으로 의미 있고 분석 가능한 크기의 하위군만 유지한다.
• 복리가 순위 위치의 함수로 모델링된 경우(예: γ(i) = i^−0.1)에 따라 랭킹 시스템으로의 확장을 통해 순위 기반 결과의 발산 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 전반적인 모델 성능과 비교해 상당히 다른 성능(예: 높은 FPR 또는 FNR)을 보이는 데이터 하위군은 무엇인가?
• RQ2 사전에 정의된 민감 속성에 의존하지 않고 이러한 하위군을 자동으로 탐지할 수 있는 방법은 무엇인가?
• RQ3 특정 하위군에서 관찰된 발산에 가장 크게 기여하는 개별 속성은 무엇인가?
• RQ4 특히 복리 분포 측면에서, 랭킹 시나리오에서 모델의 성능은 하위군 간에 어떻게 달라지는가?

주요 결과

• COMPAS 데이터셋에서 {age<25, #prior>3, sex=Male} 하위군은 FPR에서 59%의 발산을 보였으며, 이는 높은 오분류율을 의미한다.
• 하위군 {age>45, charge=M, race=Cauc}는 FNR에서 30%의 발산을 보였으며, 이 민감 그룹에 대해 높은 오진률이 존재함을 시사한다.
• 셰플리 값 분석 결과, {age<25, #prior>3, sex=Male} 하위군에서 FPR 발산에 가장 큰 기여를 한 요소는 age<25와 #prior>3였고, sex=Male는 미미한 기여를 하였다.
• 법학과 데이터셋에서 {LSAT≤33.0, race=Black, sex=Male} 항목집합은 ZFYA(1학년 평균 성적)에서 가장 낮은 발산을 보였으며, 이는 race=Black 가 부정적 결과에 주요 기여를 했다는 것을 의미한다.
• 이 방법은 지지 임계값(s=0.005) 이상의 모든 관련 항목집합을 효율적으로 탐지하였고, 10^5개 항목집합이 존재하는 상황에서도 12초 미만의 시간에 그들의 발산을 계산하였다.
• 분석 결과, 법학과 인턴십 랭킹에서 인종이 불공정한 복리 분포의 주요 원인임이 드러나, 향후 심층 분석이 필요한 핵심 영역임을 시사한다.