[논문 리뷰] An Introduction to Artificial Intelligence and Solutions to the Problems of Algorithmic Discrimination

Nicholas Schmidt, Bryce Stephens|arXiv (Cornell University)|2019. 11. 08.

Legal and Policy Issues인용 수 15

한 줄 요약

이 논문은 소비자 신용 분야에서 인공지능 및 기계학습 시스템의 알고리즘 편향을 평가하고 완화하기 위한 방법론을 제시한다. 특히 Equal Credit Opportunity Act(이하 ECOA)와 같은 기존의 차별금지법과의 일치를 통해 공정성 평가를 수행한다. 이는 차별적 대우와 영향을 식별하고 줄이는 프레임워크를 제안하며, 도메인에 맞는 공정성 평가를 강조하여 법적 기준을 충족하면서도 모델의 유용성을 유지한다.

ABSTRACT

There is substantial evidence that Artificial Intelligence (AI) and Machine Learning (ML) algorithms can generate bias against minorities, women, and other protected classes. Federal and state laws have been enacted to protect consumers from discrimination in credit, housing, and employment, where regulators and agencies are tasked with enforcing these laws. Additionally, there are laws in place to ensure that consumers understand why they are denied access to services and products, such as consumer loans. In this article, we provide an overview of the potential benefits and risks associated with the use of algorithms and data, and focus specifically on fairness. While our observations generalize to many contexts, we focus on the fairness concerns raised in consumer credit and the legal requirements of the Equal Credit and Opportunity Act. We propose a methodology for evaluating algorithmic fairness and minimizing algorithmic bias that aligns with the provisions of federal and state anti-discrimination statutes that outlaw overt, disparate treatment, and, specifically, disparate impact discrimination. We argue that while the use of AI and ML algorithms heighten potential discrimination risks, these risks can be evaluated and mitigated, but doing so requires a deep understanding of these algorithms and the contexts and domains in which they are being used.

연구 동기 및 목표

• 고위험 분야인 신용 평가와 같은 분야에서 증가하는 알고리즘 차별에 대한 우려를 해결하기 위해.
• Equal Credit Opportunity Act와 같은 연방 및 주 차별금지법이 알고리즘 의사결정에 어떻게 적용되는지 분석하기 위해.
• 법적 정의인 차별적 대우와 차별적 영향을 기반으로 하여 AI 시스템의 편향을 탐지하고 최소화하는 실용적인 방법론을 개발하기 위해.
• 실제 AI 구현에서 기술적 공정성 지표와 법적 준수 간 격차를 메우기 위해.

제안 방법

• 저자들은 특히 Equal Credit Opportunity Act(이하 ECOA)에 기반한 법적 기준을 바탕으로 한 공정성 평가 프레임워크를 제안하여 알고리즘 의사결정을 평가한다.
• 차별적 대우(의도적 편향)와 차별적 영향(보호 그룹에 대한 뜻하지 않은 부정적 결과)의 두 가지 관점에서 공정성을 정의한다.
• 모델을 보고할 때는 보호 그룹 간 결과의 집단 수준의 격차를 분석하기 위한 통계적 검정을 수행한다.
• 신용도 평가와 같은 도메인에 맞는 구체적 분석을 통합하여 공정성 정의가 도메인과 관련성이 있도록 보장한다.
• 모델 개발 라이프사이클에 법적 준수 검사를 통합하여 규제 기대에 부합하도록 보장한다.
• 모델 결정이 법적 프레임워크 하에서 해석 가능하고 정당화 가능하도록 하여 투명성과 설명 가능성을 강조한다.

실험 결과

연구 질문

• RQ1 기존의 차별금지법과 일치하는 방식으로 AI 시스템의 공정성을 어떻게 평가할 수 있는가?
• RQ2 알고리즘 의사결정에서 차별적 대우와 차별적 영향 간의 주요 법적 차이는 무엇인가?
• RQ3 소비자 신용에서 보호 그룹에 대한 편향을 탐지하고 완화하기 위해 AI 및 기계학습 모델을 어떻게 감사할 수 있는가?
• RQ4 순수 기술적 또는 통계적 정의가 아닌 법적 기준을 반영하도록 공정성 지표를 어떻게 적응시킬 수 있는가?
• RQ5 법적으로 준수 가능한 그리고 윤리적으로 타당한 AI 시스템을 확보하기 위해 구현 도메인의 맥락적 이해는 어떤 역할을 하는가?

주요 결과

• 논문은 신용 평가에서 알고리즘 편향을 법적 준수 공정성 지표를 사용하여 체계적으로 탐지할 수 있음을 입증한다. 이 지표는 차별적 대우와 차별적 영향을 구분한다.
• 보호 그룹이 신용을 부당하게 거부당하는 경우가 많은 모델은 결과 분포의 통계적 분석을 통해 식별될 수 있음을 보여준다.
• 제안된 방법론은 조직이 성능 저하 없이도 사전에 편향을 평가하고 줄일 수 있도록 한다. 이는 규제 요구사항 위반 없이도 가능하다.
• 법적 의무를 이행하기 위해 부정적 결정에 대한 설명을 요구함으로써, 이 프레임워크는 투명성을 지원한다. Equal Credit Opportunity Act에 따른 의무를 이행한다.
• 연구는 법적 준수와 기술적 공정성이 상호 배타적이지 않으며, 책임감 있는 AI 구현을 위해 차별금지 법령과의 일치가 가능하고 필수적임을 확인한다.