[논문 리뷰] Equalizing Recourse across Groups

Vivek Gupta, Pegah Nokhiz외 2명|arXiv (Cornell University)|2019. 09. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 17

한 줄 요약

이 논문은 선형 및 비선형 모델 모두에서 분류기의 결정 경계까지의 거리의 격차를 최소화함으로써 다양한 인구집단 그룹 간의 회복 가능성(equalized recourse)을 달성하는 방법을 제안한다. 정규화된 목적함수를 사용하여, 예측 정확도를 유지하면서도 회복 가능성의 부당성에 상당한 감소를 이끌어내며, 다양한 데이터셋과 모델 유형에서 최대 100% 향상까지 달성한다.

ABSTRACT

The rise in machine learning-assisted decision-making has led to concerns about the fairness of the decisions and techniques to mitigate problems of discrimination. If a negative decision is made about an individual (denying a loan, rejecting an application for housing, and so on) justice dictates that we be able to ask how we might change circumstances to get a favorable decision the next time. Moreover, the ability to change circumstances (a better education, improved credentials) should not be limited to only those with access to expensive resources. In other words, \emph{recourse} for negative decisions should be considered a desirable value that can be equalized across (demographically defined) groups. This paper describes how to build models that make accurate predictions while still ensuring that the penalties for a negative outcome do not disadvantage different groups disproportionately. We measure recourse as the distance of an individual from the decision boundary of a classifier. We then introduce a regularized objective to minimize the difference in recourse across groups. We explore linear settings and further extend recourse to non-linear settings as well as model-agnostic settings where the exact distance from boundary cannot be calculated. Our results show that we can successfully decrease the unfairness in recourse while maintaining classifier performance.

연구 동기 및 목표

• 모든 인구집단 그룹의 개인이 실현 가능한 조치를 통해 유리한 결과를 얻을 수 있는 기회를 동일하게 보장함으로써 기계학습 의사결정의 윤리적 우려를 해결한다.
• 개별 개인의 특성 벡터에서 분류기의 결정 경계까지의 거리를 회복 가능성으로 정의함으로써 정량적 공정성 지표를 가능하게 한다.
• 모델 정확도를 훼손하지 않으면서도 그룹 간 회복 가능성 거리의 균형을 이루는 정규화된 학습 프레임워크를 개발한다.
• 정확한 경계 거리 계산이 불가능한 비선형 및 모델 독립적 환경으로 이 방법을 확장한다.
• 회복 가능성 균형 조정이 다양한 데이터셋과 분류기에서 예측 성능를 유지하면서도 부당성 감소에 실제로 기여하는지 실증적으로 검증한다.

제안 방법

• 개별 개인의 특성 벡터에서 분류기의 결정 경계까지의 절대적 거리를 회복 가능성으로 정의하고, 이를 공정성 지표로 사용한다.
• 모델 학습 중에 인구집단 간 평균 회복 가능성 거리의 차이를 최소화하는 정규화된 목적함수를 설정한다.
• 선형 모델에 적용한 후, 다항식 및 반경기저함수 커널을 사용한 커널화된 모델(예: SVM)으로 확장한다.
• 모델 독립적 환경에서는 추정된 회복 가능성 거리 기반의 재가중 전략을 사용하여 그룹 간 격차를 균형 잡는다.
• Random Forest 및 로지스틱 회귀와 같은 모델에서 샘플 가중치를 활용하여 경계 거리 계산 없이도 정규화 효과를 근사한다.
• 백분위수 기반 분포 및 중앙값 분석을 통해 여러 실행 및 데이터셋에서 회복 가능성 균형의 탄력성을 평가한다.

실험 결과

연구 질문

• RQ1 높은 모델 정확도를 유지하면서도 다양한 인구집단 그룹 간 회복 가능성의 실현 가능성 격차를 줄일 수 있는가?
• RQ2 선형 및 비선형 모델 모두에서 인구집단 간 회복 가능성 거리의 상호 차이를 최소화하는 정규화된 목적함수가 얼마나 효과적인가?
• RQ3 결정 경계가 명시적으로 알려져 있지 않은 모델 독립적 환경에서 회복 가능성의 공정성은 어느 정도 향상될 수 있는가?
• RQ4 회복 가능성 균형 조정이 평균, 중앙값, 백분위수 분포를 통해 측정 가능한 불공정성 감소를 이끌어내는가?
• RQ5 제안된 방법은 다양한 데이터셋과 분류기 유형에서 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• givemecredit 데이터셋에서 다항식 커널을 사용한 결과, 최대 100%까지 회복 가능성 격차가 감소하였으며, 여러 경우에서 95번째 백분위수 개선률이 90%를 초과하였다.
• credit 데이터셋에서 모델 독립적 환경에서 로지스틱 회귀를 사용한 결과, 학습 시 90% 감소, 테스트 시 100% 감소를 기록하였다.
• 모든 데이터셋과 모델에서 중앙값 회복 가능성 격차가 감소하여, 최소한 절반 이상의 실행에서 균형 조정 이후 격차 감소가 이루어졌다.
• 대부분의 경우 기준선 대비 정확도 손실가 1% 이내를 유지하였으며, AdaBoost에서 propublica 데이터셋의 경우 최대 7%의 미미한 감소가 관찰되었다.
• 선형 커널은 다항식 커널보다 개선 정도가 낮았는데, 이는 모델 파rameter 수가 적고 결정 경계 조정의 유연성이 떨어지기 때문일 것이다.
• 모델 독립적 환경에서의 재가중 전략은 Random Forest, 로지스틱 회귀, AdaBoost에서 모두 회복 가능성 격차 감소를 성공적으로 이끌어내어, 명시적 경계 계산을 넘어서 일반화 가능성을 입증하였다.