[논문 리뷰] Reranking individuals: The effect of fair classification within-groups

Sofie Goethals, Favier, Marco외 1명|arXiv (Cornell University)|2024. 01. 24.

Health Systems, Economic Evaluations, Quality of LifeEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 편향 완화에서 기존의 군 간 정의성 지표에 대한 집중을 도전하며, 공정성 제약을 적용하기 이전에 모델 예측 점수를 기반으로 내부 군 내 순위 정확도를 최적화하는 패러다임 전환을 제안한다. 후행적 레이블 조정에 의존할 경우 현실적이지 않은 양성 비율과 낮은 실용성 문제가 발생함을 입증하며, 대신 AUC 최적화된 순위를 기반으로 각 하위군에서 상위 순위를 가진 개인을 선별함으로써 공정성과 실용성의 균형을 이루는 것을 주장한다.

ABSTRACT

Artificial Intelligence (AI) finds widespread application across various domains, but it sparks concerns about fairness in its deployment. The prevailing discourse in classification often emphasizes outcome-based metrics comparing sensitive subgroups without a nuanced consideration of the differential impacts within subgroups. Bias mitigation techniques not only affect the ranking of pairs of instances across sensitive groups, but often also significantly affect the ranking of instances within these groups. Such changes are hard to explain and raise concerns regarding the validity of the intervention. Unfortunately, these effects remain under the radar in the accuracy-fairness evaluation framework that is usually applied. Additionally, we illustrate the effect of several popular bias mitigation methods, and how their output often does not reflect real-world scenarios.

연구 동기 및 목표

• 기존의 편향 완화 평가가 군 간 정의성 지표에만 집중함으로써 내부 군 내 순위 변화를 무시하는 한계를 해결하기 위해.
• 현재의 벤치마킹 관행이 극명하게 다른 양성 비율 조건에서 방법을 비교함으로써 성능에 대한 오해를 불러일으키는 이유를 부각하기 위해.
• 예측 점수—단지 레이블이 아닌—가 정의 인식 기계 학습에서 개인을 평가하고 선택하는 기초가 되어야 한다고 주장하기 위해.
• 두 단계 프레임워크 제안: 첫째, AUC를 통해 하위군 내 순위 정확도를 최적화하기; 둘째, 공정성 및 용량 제약 조건을 충족시키는 범위에서 상위 순위 개인을 선별하기.
• 후행적 레이블 조정이 종종 실현 불가능한 양성 비율을 초래하여 실세계 적용 가능성에 해를 끼친다는 것을 입증하기 위해.

제안 방법

• 두 단계 평가 프레임워크 제안: 첫째, AUC를 지표로 사용해 각 하위군 내에서 가장 정확한 순위를 생성할 수 있는지 여부를 평가함.
• 하위군 내 개인을 순위 매기기 위해 최종 레이블이 아닌 예측 점수를 사용함으로써 하위군별 정밀도를 우선시함.
• 최적의 내부 군 순위를 확립한 후에야 공정성 제약(예: 민족적 평등성)을 적용함.
• 실제로 양성 비율 제한(예: 대출 할당량, 입학 제한)을 고려한 제약 인식 선별 프로세스 도입.
• 최종 레이블이 아닌 기반 점수 기반 순위의 질을 비교함으로써 사과와 오렌지 비교를 방지함.
• 후처리 방법은 원래 순위를 유지하는 반면, 전처리 및 내재형 방법은 종종 이를 왜곡함을 입증함으로써 내부 군 공정성에 영향을 줄 수 있음.

실험 결과

연구 질문

• RQ1 다양한 편향 완화 방법은 각 민감 그룹 내 개인의 내부 순위에 어떻게 영향을 미치는가?
• RQ2 왜 실세계 응용에서 편향 완화 기법을 평가할 때 군 간 정의성 지표에만 의존하는 것이 부적절한가?
• RQ3 다른 양성 비율을 가진 방법을 비교함으로써 현재의 벤치마킹 관행이 얼마나 잘못된 결론을 이끌어내는가?
• RQ4 먼저 내부 군 순위 정확도를 최적화하고, 그 다음에 공정성 제약을 적용하는 두 단계 프레임워크가 더 현실적이고 공정한 결과를 이끌 수 있는가?
• RQ5 제약 조건이 있는 환경에서 예측 점수와 최종 레이블은 공정하고 실용적인 의사결정을 이끄는 데 어떻게 비교되는가?

주요 결과

• Adult Income 데이터셋은 편향 완화 방법이 0.5%에서 39.3%의 양성 비율을 생성할 수 있음을 보여주며, 실제 비율인 23.9%와 비교해 상황이 상이한 조건에서 방법을 비교할 경우 위험을 노출함.
• 후처리 방법은 그룹 내 인스턴스의 원래 순위를 유지하지만, 전처리 및 내재형 방법은 종종 이를 왜곡함으로써 내부 군 공정성에 악영향을 줄 수 있음.
• AUC 지표는 내부 군 순위의 질을 효과적으로 캡처하므로, 최종 레이블에 적용된 정확도나 공정성 지표보다 평가 기준으로서 열등함.
• 최종 예측 레이블을 비교 기준으로 삼을 경우 오해의 소지가 있으며, 같은 정확도를 가진 방법이라도 상당히 다른 양성 비율을 가질 수 있어 실세계 설정에서는 적용 불가능함.
• 제안된 프레임워크는 용량의 낭비를 방지하고 과도하게 높거나 낮은 양성 비율을 피함으로써 대출 할당량이나 입학 제한과 같은 실용적 제약 조건과 더 잘 부합함.
• 후처리 방법을 사용하더라도 공정성 결과는 종종 간과되는 기반 점수 기반 순위의 질에 달려 있음.