[논문 리뷰] Towards Responsible AI in Banking: Addressing Bias for Fair Decision-Making

Alessandro Castelnovo|arXiv (Cornell University)|2024. 01. 13.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 박사학위 논문은 Intesa Sanpaolo와의 협업을 통해 금융권에서의 책임감 있는 AI를 위한 프레임워크를 제안한다. 이 프레임워크는 자동화된 의사결정에서의 편향을 다루기 위해 세 가지 기둥—편향 이해, 편향 완화, 편향 계약—을 중심으로 구성된다. 공정성, 설명 가능성, 인간의 감시를 통합하여 실질적인 구현을 가능하게 하고, Bias On Demand와 FairView와 같은 오픈소스 도구를 통해 실제 금융 응용 분야에서 AI 공정성을 향상시킨다.

ABSTRACT

In an era characterized by the pervasive integration of artificial intelligence into decision-making processes across diverse industries, the demand for trust has never been more pronounced. This thesis embarks on a comprehensive exploration of bias and fairness, with a particular emphasis on their ramifications within the banking sector, where AI-driven decisions bear substantial societal consequences. In this context, the seamless integration of fairness, explainability, and human oversight is of utmost importance, culminating in the establishment of what is commonly referred to as "Responsible AI". This emphasizes the critical nature of addressing biases within the development of a corporate culture that aligns seamlessly with both AI regulations and universal human rights standards, particularly in the realm of automated decision-making systems. Nowadays, embedding ethical principles into the development, training, and deployment of AI models is crucial for compliance with forthcoming European regulations and for promoting societal good. This thesis is structured around three fundamental pillars: understanding bias, mitigating bias, and accounting for bias. These contributions are validated through their practical application in real-world scenarios, in collaboration with Intesa Sanpaolo. This collaborative effort not only contributes to our understanding of fairness but also provides practical tools for the responsible implementation of AI-based decision-making systems. In line with open-source principles, we have released Bias On Demand and FairView as accessible Python packages, further promoting progress in the field of AI fairness.

연구 동기 및 목표

• 금융 부문의 AI 기반 의사결정에서의 편향을 해결하여 공정성과 윤리적 준수를 확보하기 위해.
• 공정성, 설명 가능성, 인간의 감시를 통합한 종합적인 프레임워크를 개발하기 위해.
• 자동화된 금융 결정에서 유럽 규제와 보편적 인권 기준을 일치시키기 위해.
• 실제 금융 환경에서 적용 가능한, 구현 가능한 도구를 제공하여 편향 탐지 및 완화를 수행하기 위해.

제안 방법

• 프레임워크는 세 가지 기둥—데이터 및 모델 분석을 통한 편향 이해, 공정성 인식 기반 기계학습 기법을 활용한 편향 완화, 지속적인 모니터링 및 감사 기록을 통한 편향 계약—을 중심으로 구성된다.
• AI 결정의 투명성을 향상시켜 이해관계자가 결과를 해석하고 도전할 수 있도록 설명 가능성 방법을 통합한다.
• Intesa Sanpaolo와의 협업을 통해 실제 금융 데이터셋과 워크플로우에서 프레임워크의 실용적 검증이 가능했다.
• 편향 탐지, 공정성 평가, 모델 해석 가능성 지원을 위한 오픈소스 파이썬 패키지인 Bias On Demand와 FairView를 개발했다.
• 모델 개발, 공정성 평가, 인간 중심의 감시 간의 반복적 피드백 루프를 강조하는 방법론을 적용했다.
• AI 수명 주기 전반에 윤리 원칙을 통합함으로써 향후 유럽 AI 규제에 대응할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 실제 은행 환경에서 AI 기반 신용 평가 및 대출 승인 시스템의 편향을 체계적으로 식별하고 측정할 수 있는 방법은 무엇인가?
• RQ2 모델 성능 및 규제 준수를 유지하면서 효과적으로 편향을 완화할 수 있는 기술적 및 조직적 전략는 무엇인가?
• RQ3 금융 기관의 AI 개발 수명 주기 내에서 공정성, 설명 가능성, 인간의 감시를 어떻게 의미 있게 통합할 수 있는가?
• RQ4 은행이 대규모로 AI 시스템의 공정성을 구현하고 모니터링할 수 있도록 지원할 수 있는 오픈소스 도구는 무엇인가?

주요 결과

• 프레임워크는 타깃 전처리 및 후처리 기법을 통해 실제 신용 리스크 모델에서 인구통계학적 및 사회경제적 편향을 성공적으로 식별하고 완화하였다.
• 설명 가능성 방법의 통합은 이해관계자 신뢰를 향상시키고 은행 응용 분야에서 감사 가능한 결론 도출 과정을 가능하게 하였다.
• 오픈소스 도구인 Bias On Demand와 FairView는 생산 워크플로우에 도입되어 금융 기관에서 실질적 유용성과 확장성을 입증하였다.
• Intesa Sanpaolo와의 협업적 배포를 통해 다양한 고객 집단에서 불공정한 결과를 줄이는 데 프레임워크의 효과성이 검증되었다.
• 예측 성능에 큰 영향을 주지 않으면서도 공정성 지표(예: 동일 기회, 인구 통계적 평등)에서 측정 가능한 개선이 이루어졌다.
• 기술적 도구, 거버넌스, 규제 일치성의 지원이 있다면 규제된 금융 환경에서도 책임감 있는 AI가 실현 가능하다는 것이 연구를 통해 입증되었다.