[논문 리뷰] Big Data, Data Science, and Civil Rights

Solon Barocas, Elizabeth Bradley외 2명|arXiv (Cornell University)|2017. 06. 09.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

이 논문은 대규모 데이터 및 데이터 과학 분야에서 시민권 위험을 해결하기 위한 종합적인 연구 의제를 제안하며, 알고리즘 내 편향을 탐지하고 완화하며, 투명성을 높이고 모델링 수명 주기 全 주기에 걸쳐 공정성을 통합하는 데 초점을 맞춘다. 데이터 기반 시스템이 차별을 계속하거나 사회적 정의를 약화시키지 않도록 하기 위해 다학제적 협력을 촉구한다.

ABSTRACT

Advances in data analytics bring with them civil rights implications. Data-driven and algorithmic decision making increasingly determine how businesses target advertisements to consumers, how police departments monitor individuals or groups, how banks decide who gets a loan and who does not, how employers hire, how colleges and universities make admissions and financial aid decisions, and much more. As data-driven decisions increasingly affect every corner of our lives, there is an urgent need to ensure they do not become instruments of discrimination, barriers to equality, threats to social justice, and sources of unfairness. In this paper, we argue for a concrete research agenda aimed at addressing these concerns, comprising five areas of emphasis: (i) Determining if models and modeling procedures exhibit objectionable bias; (ii) Building awareness of fairness into machine learning methods; (iii) Improving the transparency and control of data- and model-driven decision making; (iv) Looking beyond the algorithm(s) for sources of bias and unfairness-in the myriad human decisions made during the problem formulation and modeling process; and (v) Supporting the cross-disciplinary scholarship necessary to do all of that well.

연구 동기 및 목표

• 비즈니스, 교육, 사법, 주거 등 중요한 사회 영역에서 데이터 기반 및 알고리즘 기반 의사결정의 증가하는 사용으로 인해 발생하는 시민권 문제를 식별하고 해결하기.
• 기계 학습 모델 및 모델링 절차에서 부적절한 편향을 탐지하고 완화할 수 있는 방법을 개발하기.
• 기관 전반에서 데이터 기반 및 모델 기반 의사결정의 투명성과 사용자 통제력을 향상시키기.
• 문제 정의 및 데이터 수집 과정에서의 비알고리즘적 원인에 기인한 편향을 분석하기.
• 컴퓨터 과학, 법학, 윤리학, 사회과학을 통합하는 다학제적 학문 협력을 촉진하여 공정한 결과를 보장하기.

제안 방법

• 데이터 과학 분야의 시민권 문제를 체계적으로 해결하기 위해 다섯 단계로 구성된 연구 의제를 제안하기.
• 모델 개발 과정에서 공정성 지표와 편향 탐지 기법을 기계 학습 파이프라인에 통합하기.
• 설명 가능한 인공지능과 데이터 및 모델 의사결정의 감사 가능성 강화를 통해 투명성 제고하기.
• 문제 정의부터 배포까지의 전체 데이터 과학 수명 주기를 비판적으로 분석하여 숨겨진 편향을 밝혀내기.
• 데이터 과학자, 사회과학자, 법학자, 시민권 전문가 간의 다학제적 협력 촉진하기.
• 고위험 분야에서 사용되는 알고리즘 시스템의 책임성 및 감시 프레임워크 개발하기.

실험 결과

연구 질문

• RQ1 어떻게 데이터 기반 모델 및 모델링 절차에서 비판적 편향을 탐지하고 측정할 수 있는가?
• RQ2 기계 학습 방법의 초도 단계에서 공정성을 통합할 수 있는 기술적 및 절차적 메커니즘은 무엇인가?
• RQ3 사용자 및 규제 기관이 데이터 및 모델 의사결정 과정을 더 투명하고 통제 가능하게 만들 수 있는 방법은 무엇인가?
• RQ4 데이터 과학 수명 주기에서 비알고리즘적 원인에 기인한 불공정성은 무엇이 있으며, 어떻게 식별하고 해결할 수 있는가?
• RQ5 데이터 과학에서 공정성 및 시민권 문제에 대한 지속적인 다학제적 연구를 지원하기 위해 필요한 제도적 및 학문적 구조는 무엇인가?

주요 결과

• 논문은 시민권 위험을 사전에 해결하기 위한 기초 연구 의제를 수립하며, 기술적 조치보다는 체계적 접근을 강조한다.
• 편향은 알고리즘 자체에 기인하기보다는 문제 정의, 데이터 수집, 모델링 과정에서의 인간 결정에 기인하는 경우가 많다는 점을 밝혀냈다.
• 투명성과 사용자 통제는 구조적 및 맥락적 불공정성의 근본 원인을 다루지 않는 한 부족한 조치이다.
• 저자들은 공정성을 알고리즘적 조치만으로 달성할 수 없으며, 의미 있는 영향력을 발휘하기 위해서는 다학제적 협력이 필수적이라고 주장한다.
• 논문은 시민권 고려사항을 데이터 과학 실무에 통합하기 위해 제도적 지원과 지속적인 학문적 참여가 필요하다고 촉구한다.
• 공정성은 기술적, 윤리적, 법적, 사회적 차원을 통합해야 하는 다차원적 과제로 위치지어진다.