[논문 리뷰] Fairness and Explainability in Automatic Decision-Making Systems. A challenge for computer science and law

Thierry Kirat, Olivia Tambou외 2명|arXiv (Cornell University)|2022. 05. 14.

Digitalization, Law, and Regulation인용 수 4

한 줄 요약

이 논문은 컴퓨터 과학과 법학을 연결하여 자동화된 결정 시스템에서의 공정성과 설명 가능성에 대해 분석하며, 지도 학습에서의 기술적 선택이 알고리즘 설계를 초월해 사회적 및 법적 영향을 지닌다는 점을 강조한다. 미국과 유럽의 법적 프레임워크를 비교하고, 법적 설명 가능성 개념의 다의성(poysemy)을 부각하며, 알고리즘 결정 시스템의 범주적, 기술적, 법적 상충 요소를 해결하기 위해 다학제적 협력을 촉구한다.

ABSTRACT

The paper offers a contribution to the interdisciplinary constructs of analyzing fairness issues in automatic algorithmic decisions. Section 1 shows that technical choices in supervised learning have social implications that need to be considered. Section 2 proposes a contextual approach to the issue of unintended group discrimination, i.e. decision rules that are facially neutral but generate disproportionate impacts across social groups (e.g., gender, race or ethnicity). The contextualization will focus on the legal systems of the United States on the one hand and Europe on the other. In particular, legislation and case law tend to promote different standards of fairness on both sides of the Atlantic. Section 3 is devoted to the explainability of algorithmic decisions; it will confront and attempt to cross-reference legal concepts (in European and French law) with technical concepts and will highlight the plurality, even polysemy, of European and French legal texts relating to the explicability of algorithmic decisions. The conclusion proposes directions for further research.

연구 동기 및 목표

• 지도 학습에서의 기술적 선택이 알고리즘 설계를 초월해 본질적으로 사회적 및 법적 영향을 지닌다는 것을 검토하는 것.
• 특히 차별적 영향과 외형적으로 중립적인 결정 규칙에 관해, 미국과 유럽 법적 체계의 공정성 기준을 비교하는 것.
• 특히 유럽 및 프랑스 법적 텍스트에서의 모호성과 다의성을 반영한 알고리즘 결정의 법적 및 기술적 설명 가능성 차원을 분석하는 것.
• 국가 법적 체계가 알고리즘 공정성과 설명 가능성에 미치는 영향에 대한 다학제적 연구의 격차를 식별하는 것.
• 자동화된 결정 시스템에서 법적 규범, 사회적 가치, 기술적 실현 가능성의 통합을 위한 향후 연구 방향을 제안하는 것.

제안 방법

• 미국의 차별금지법과 유럽의 비차별법에서의 공정성 기준을 비교하기 위해 맥락 기반 법적 분석을 사용한다.
• 지도 학습의 핵심 기술적 프레임워크로 경험적 리스크 최소화(ERM)를 적용하며, 손실 함수, 가설 클래스, 평가 기준에 중점을 둔다.
• 데이터 편향과 알고리즘 편향을 분류하고, 데이터 수집, 모델 선택, 평가 과정 전반에 걸친 기원을 추적한다.
• GDPR 및 프랑스 법에서의 설명 가능성 법적 개념을 기술적 해석 가능성 방법과 교차 비교하여 개념적 다의성을 부각한다.
• 결정자들의 가치를 모델링하기 위해 축약형 프레임워크를 제안하며, 예를 들어 '보이는 그대로' 대비 '모두가 동등하다' 등의 원칙을 통해 공정성 영향을 평가한다.
• 공정성, 공공안전 등 다른 사회적 목표 간의 상충 관계를 탐색하기 위해 범례적 분석을 수행하며, COMPAS 재범 위험 도구를 사례로 제시한다.

실험 결과

연구 질문

• RQ1 데이터 수집, 모델 선택, 손실 함수와 같은 지도 학습에서의 기술적 선택이 어떻게 의도하지 않은 사회적 결과를 초래하는가?
• RQ2 자동화된 결정에서의 차별적 영향 측면에서 미국과 유럽 법적 체계 간의 공정성 기준의 주요 차이점은 무엇인가?
• RQ3 유럽 및 프랑스 법에서의 설명 가능성 법적 개념이 기계 학습의 기술적 해석 가능성 방법과 어떻게 다를지 또는 일치하는가?
• RQ4 법적 및 기술적 제약이 공정하고 설명 가능한 알고리즘 시스템 설계에서 얼마나 잘 조율될 수 있는가?
• RQ5 사회적 가치와 규범적 선호가 알고리즘 결정 시스템에 어떻게 형식적으로 모델링될 수 있는가? 이를 통해 법적 및 윤리적 기준과의 일치를 보장할 수 있는가?

주요 결과

• 지난 학습에서의 기술적 선택—예를 들어 데이터 수집, 가설 클래스, 손실 함수—는 공정성 결과에 직접적인 영향을 미치며, 본질적으로 사회적 영향을 지닌다.
• 미국과 유럽 법적 체계는 서로 다른 공정성 기준을 지닌다: 미국은 차별적 영향과 개인적 공정성에 중점을 두며, 유럽은 비차별과 절차적 권리에 중점을 둔다.
• 유럽과 프랑스 법에서의 설명 가능성 관련 법적 텍스트는 다의성을 보이며, '설명 가능성'에 대한 여러 가지 해석이 법적 준수와 기술적 구현을 복잡하게 만든다.
• 본 연구는 미국과 EU 외의 국가 법적 체계, 특히 아시아, 오세아니아, 라틴 아메리카에서의 연구 격차를 중요한 문제로 지적한다.
• 공공안전을 극대화하는 것과 인종적 격차를 줄이는 것 사이에 근본적인 갈등이 존재하며, 이는 COMPAS 재범 위험 사례에서 명확히 드러난다.
• 공정성은 순수 기술적 문제로 환원될 수 없으며, 기회 균등성과 인구 비율 균형성 간의 명시적 사회적 및 법적 규범적 선택이 필요하다.