[논문 리뷰] Fairness Assessment for Artificial Intelligence in Financial Industry

Yukun Zhang, Longsheng Zhou|arXiv (Cornell University)|2019. 12. 16.

Ethics and Social Impacts of AI참고 문헌 16인용 수 12

한 줄 요약

이 논문은 금융 분야의 AI에 대한 정량적 공정성 평가 프레임워크를 제안하며, 불균형 데이터를 다루고 신용카드 부도 예측에서의 편향을 완화하기 위해 통계적 방법을 사용한다. 연구 결과, 데이터 균형 조정이 모델 성능을 크게 향상시키고 거짓 음성 비율을 감소시키며, 재균형화와 같은 편향 완화 기법이 원래 데이터에 숨겨진 편향이 있는 경우 특히 유용함을 입증한다.

ABSTRACT

Artificial Intelligence (AI) is an important driving force for the development and transformation of the financial industry. However, with the fast-evolving AI technology and application, unintentional bias, insufficient model validation, immature contingency plan and other underestimated threats may expose the company to operational and reputational risks. In this paper, we focus on fairness evaluation, one of the key components of AI Governance, through a quantitative lens. Statistical methods are reviewed for imbalanced data treatment and bias mitigation. These methods and fairness evaluation metrics are then applied to a credit card default payment example.

연구 동기 및 목표

• 금융 산업 내 AI 응용 프로그램에서 편향되거나 불균형한 데이터로 인한 공정성 문제를 해결하기 위해.
• 신용 부도 예측 모델에서 데이터 불균형을 다루고 편향을 줄이는 데 있어 통계적 방법의 효과를 평가하기 위해.
• 공정성 지표가 모델 개발을 이끌고 의도하지 않은 차별을 줄이는 데 어떻게 기여할 수 있는지 보여주기 위해.
• 금융 기관의 AI 거버넌스에서 공정성 평가를 실무적으로 구현할 수 있는 실용적 프레임워크를 제공하기 위해.

제안 방법

• 연구는 신용카드 부도 예측에서 불균형 데이터셋을 균형 잡기 위해 재균형화 및 합성 데이터 생성과 같은 통계 기법을 적용한다.
• 성별 집단 간 편향을 정량화하기 위해 통계적 평등성 차이, 동등 기회 차이, 이질적 영향도 등의 공정성 지표를 사용한다.
• 사례 기반 실험 설계(4개 사례)를 통해 데이터 균형 조정 및 편향 완화가 모델 성능과 공정성에 미치는 영향을 평가한다.
• 모델은 실제 신용카드 부도 데이터셋을 기반으로 훈련 및 테스트되며, 정확도, F1 점수, 거짓 음성 비율을 성능 측정 지표로 사용한다.
• 재균형화 알고리즘은 샘플 가중치를 조정하여 집단 기반 격차를 줄이기 위해 사전 처리 방법으로 적용된다.
• 사례 간 결과 비교를 통해 데이터 균형 조정과 편향 완화가 공정성 및 모델 정확도에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 데이터 불균형은 신용 리스크 예측 모델의 공정성과 성능에 어떤 영향을 미치는가?
• RQ2 재균형화와 같은 사전 처리 기법이 금융 서비스용 AI 모델의 인구통계적 편향을 어느 정도 줄일 수 있는가?
• RQ3 데이터 균형 조정과 편향 완화 중 어느 것이 모델의 공정성과 정확도에 더 큰 영향을 미치는가?
• RQ4 다양한 공정성 지표(예: 통계적 평등성, 동등 기회)는 성별 기반 대출 결정에서 편향을 어떻게 반영하는가?
• RQ5 합성 데이터 생성은 기존의 편향을 악화시킬 수 있으며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 합성 균형 데이터를 사용한 후 재균형화를 적용한 Case 4는 최고의 모델 정확도(0.83)와 가장 낮은 거짓 음성 비율(0.19)을 기록하여 부도 사례의 탐지 능력 향상을 보여준다.
• 남성과 여성 집단 간 통계적 평등성의 차이가 합성 데이터에서 0.3034에서 Case 4에서는 0.1621로 감소하여 편향 감소가 명확하게 확인되었다.
• 재균형화를 적용한 후에도 편향 감소 효과가 제한적이었으며, 통계적 평등성 차이가 여전히 0.1621로 유지되어, 편향 완화만으로는 깊이 뿌리내린 데이터 불균형을 완전히 보정할 수 없음을 시사한다.
• 인위적으로 남성의 부도 사례를 30% 더 추가한 변조 데이터 사례(Case 5)에서는 통계적 평등성 차이가 0.5614로 상승하여 심각한 편향이 존재함을 확인하였다.
• Case 5에서 편향 완화를 시행한 후 통계적 평등성 차이는 0.03178로 감소하여 재균형화가 인위적으로 추가된 편향을 효과적으로 줄일 수 있음을 입증하였다.
• 연구 결과, 편향 완화보다 데이터 균형 조정이 모델 성능에 더 큰 영향을 미치는 것으로 나타나, 데이터 품질이 공정성에 있어 기초적인 요소임을 시사한다.