[논문 리뷰] Multi-dimensional discrimination in Law and Machine Learning -- A comparative overview

Arjun Roy, Jan Horstmann외 1명|arXiv (Cornell University)|2023. 02. 12.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 법과 기계학습에서의 다차원적 차별에 대한 비교적 개괄적인 개요를 제공하며, 특히 법학 연구에서 제기된 다중 차별성 정의—특히 상호작용적 공정성—을 식별하고, 공정성에 민감한 기계학습에서의 구현을 분석한다. 현재 기계학습 연구의 격차를 드러내며, 추가적 및 순차적 차별에 대한 주목 부족, 상호작용적 하위군에 대한 데이터 부족, 법적 및 기술적 공정성 프레임워크 간의 상호보완적 정렬 필요성 등을 제기한다.

ABSTRACT

AI-driven decision-making can lead to discrimination against certain individuals or social groups based on protected characteristics/attributes such as race, gender, or age. The domain of fairness-aware machine learning focuses on methods and algorithms for understanding, mitigating, and accounting for bias in AI/ML models. Still, thus far, the vast majority of the proposed methods assess fairness based on a single protected attribute, e.g. only gender or race. In reality, though, human identities are multi-dimensional, and discrimination can occur based on more than one protected characteristic, leading to the so-called ``multi-dimensional discrimination'' or ``multi-dimensional fairness'' problem. While well-elaborated in legal literature, the multi-dimensionality of discrimination is less explored in the machine learning community. Recent approaches in this direction mainly follow the so-called intersectional fairness definition from the legal domain, whereas other notions like additive and sequential discrimination are less studied or not considered thus far. In this work, we overview the different definitions of multi-dimensional discrimination/fairness in the legal domain as well as how they have been transferred/ operationalized (if) in the fairness-aware machine learning domain. By juxtaposing these two domains, we draw the connections, identify the limitations, and point out open research directions.

연구 동기 및 목표

• 다양한 보호 대상 속성(예: 인종, 성별, 연령 등)을 기반으로 하는 다차원적 차별이 법학 연구에서 어떻게 개념화되고, 공정성에 민감한 기계학습에서 어떻게 구현되는지 조사한다.
• 현재 공정성에 민감한 기계학습 방법의 한계를 밝히며, 주로 단일 속성 공정성에 집중하는 경향을 분석하고, 추가적 및 순차적 차별 개념이 여전히 미비하게 다뤄지고 있음을 강조한다.
• 특히 보호 대상 속성이 겹칠 경우, 훈련 데이터에서 하위집단이 너무 작거나 빈 집단이 되는 경우가 많아지므로, 상호작용적 하위군에 대한 데이터 부족 문제를 다룬다.
• 법적 공정성과 기술적 공정성 간 격차를 메우기 위해, 법적 공정성 개념이 기계학습 프레임워크로 이행되는 방식을 분석하며, 보호 대상 속성의 정의 및 레이블링 과정에서의 과제를 다룬다.
• 다양한 연구 방향을 제안한다. 예를 들어, 소수 집단에 대한 통계적 검증 도구 개발, 하위집단 간 공정성 트레이드오프 개선, GDPR 및 유럽연합 AI법과 같은 규정 하에 민감한 데이터의 윤리적 사용 가능성을 모색한다.

제안 방법

• 다차원적 차별에 관한 법학 문헌을 체계적으로 검토하며, 상호작용성, 누적적 차별, 순차적 차별 등을 포함한다.
• 법적 공정성 개념을 공정성에 민감한 기계학습에서의 구현 방식으로 매핑하며, 특히 상호작용적 공정성이 어떻게 수용되었는지와, 추가적 및 순차적 공정성과 같은 다른 형태가 아직 다소 미흡하게 다뤄지고 있는지를 집중적으로 분석한다.
• 다차원적 차별을 탐지하고 완화하는 데 있어 기술적 과제를 분석하며, 특히 다수의 보호 대상 속성이 결합될 경우 데이터 부족 문제가 발생하는 경우를 중심으로 다룬다.
• 기존의 공정성 메트릭 및 완화 기법을 평가하며, 상호작용적 및 순차적 차별을 다루는 데서의 한계를 식별한다.
• 합성 데이터 생성을 데이터 부족 문제의 잠재적 해결책으로 제안하지만, 하위집단에 대한 편향을 유발할 수 있다는 점에서 경계를 제기한다.
• GDPR 및 유럽연합 AI법과 같은 규제 프레임워크를 검토하며, 특히 제10조 제5항(Article 10(5))을 분석한다. 이 조항은 엄격한 조건 하에 민감한 개인정보를 편향 감시 목적으로 사용할 수 있도록 허용하므로, 공정성 연구에서 윤리적인 데이터 사용을 위한 기반을 마련한다.

실험 결과

연구 질문

• RQ1 법학 연구에서 다차원적 차별은 어떻게 개념화되며, 이러한 개념들 중 어떤 것이 공정성에 민감한 기계학습에서 실제로 구현되었는가?
• RQ2 왜 기계학습 공동체는 주로 상호작용적 공정성에 집중하면서도 추가적 및 순차적 차별은 거의 간과하고 있는가?
• RQ3 특히 보호 대상 하위집단이 너무 작아 신뢰할 수 있는 통계 분석이 어려운 경우, 다차원적 차별을 탐지하고 완화하는 데 있어 기술적 및 윤리적 과제는 무엇인가?
• RQ4 공정성 메트릭 및 완화 기법은 다수의 보호 대상 속성 간의 공정성 트레이드오프를 어떻게 다룰 수 있는가?
• RQ5 GDPR 및 유럽연합 AI법과 같은 규제 프레임워크는 AI 시스템에서 다차원적 차별을 탐지하고 수정하기 위한 책임감 있는 데이터 사용을 어떻게 지원할 수 있는가?

주요 결과

• 공정성에 민감한 기계학습 방법의 대부분은 여전히 단일 차원의 공정성에 집중하며, 성별이나 인종과 같은 단일 보호 대상 속성에 기반한 편향을 평가한다. 그러나 현실 세계의 차별은 본질적으로 다차원적이다.
• 상호작용적 공정성—비판적 법학 이론과 양면적 억압 체계 개념에 뿌리를 두고 있는—은 기계학습 연구에서 주로 수용된 프레임워크이지만, 추가적 및 순차적 차별은 여전히 미비하게 다뤄지고 있다.
• 데이터 부족은 주요 장애물이다. 보호 대상 속성의 수가 증가할수록 상호작용적 하위집단의 크기가 줄어들며, 특히 소수나 차별받는 집단의 경우 통계 분석과 편향 탐지가 신뢰할 수 없게 된다.
• 특히 유럽법원의 법적 사례에서 사용하는 통계적 검증 방법은 소수 하위집단에서의 차별 탐지에 적합하지 않아, 현재 공정성 평가 방법의 격차를 드러낸다.
• 유럽연합 AI법의 제10조 제5항은 민감한 개인정보를 편향 모니터링 목적으로 사용할 수 있도록 허용하므로, 데이터 부족 문제를 해결할 잠재적 규제적 길을 제공하지만, 윤리적 및 개인정보 보호 문제는 여전히 남아 있다.
• 합성 데이터 생성은 희귀 하위집단을 보완하기 위해 유망한 접근이지만 위험도 수반한다. 사회과학 및 법학 전문 지식을 반영하지 않으면 기존의 편향을 내재하거나 악화시킬 수 있다.