[논문 리뷰] The Theory of Artificial Immutability: Protecting Algorithmic Groups Under Anti-Discrimination Law

Sandra Wachter|arXiv (Cornell University)|2022. 05. 02.

Discrimination and Equality Law인용 수 11

한 줄 요약

이 논문은 인공지능 시스템에서 유도된 법적으로 보호받지 못하는 사회적 군집(즉, '알고리즘 군집')에 대해 반차별법 보호를 확장하기 위해 '인공적 불변성 이론'을 제안한다. 이러한 군집은 법적으로 보호받지 못하지만, 실제로는 불변 특성과 유사하게 기능한다. 이 이론은 이러한 군집이 자율성과 삶의 결과를 제약한다는 점을 입증하며, 기존의 비차별 프레임워크 내에서 법적 인정을 주장한다. 특히 북미 및 유럽 지역의 법적 체계에서 유의미하다.

ABSTRACT

Artificial Intelligence (AI) is increasingly used to make important decisions about people. While issues of AI bias and proxy discrimination are well explored, less focus has been paid to the harms created by profiling based on groups that do not map to or correlate with legally protected groups such as sex or ethnicity. This raises a question: are existing equality laws able to protect against emergent AI-driven inequality? This article examines the legal status of algorithmic groups in North American and European non-discrimination doctrine, law, and jurisprudence and will show that algorithmic groups are not comparable to traditional protected groups. Nonetheless, these new groups are worthy of protection. I propose a new theory of harm - "the theory of artificial immutability" - that aims to bring AI groups within the scope of the law. My theory describes how algorithmic groups act as de facto immutable characteristics in practice that limit people's autonomy and prevent them from achieving important goals.

연구 동기 및 목표

• 북미 및 유럽의 기존 반차별법이 알고리즘 군집으로 인한 피해로부터 개인을 보호할 수 있는지 검토하기 위해.
• 기존의 비차별 원칙이 비전통적이고 법적으로 보호받지 않는 군집에 기반한 인공지능 기반 프로파일링을 다루는 데 있어 법적 및 실무적 한계를 규명하기 위해.
• 법적으로 공식적으로 보호받지 못하지만 실질적으로 불변 특성과 유사하게 작용하는 알고리즘 군집을 법적으로 인정하기 위한 새로운 법적 이론인 '인공적 불변성'을 제안하기 위해.
• 알고리즘 군집이 개인의 자율성을 제약하고 핵심 생활 목표를 이룰 수 없게 한다는 점을 입증하여, 법적으로 보호받는 특성과 관련된 피해와 유사한 결과를 만들어내고 있음을 보여주기 위해.
• 기존의 비차단법에 알고리즘 군집을 통합하기 위해 실질적 영향에 기반한 새로운 법적 프레임워크를 통해 법적 보호를 주장하기 위해.

제안 방법

• 북미 및 유럽 법체계의 사례법, 법학 이론 및 사법 철학을 분석하여 비전통적 사회군집의 대응 방식을 평가하기 위해.
• 알고리즘 군집과 법적으로 보호받는 불변 특성(예: 성별, 인종) 간의 구조적 및 功能적 유사성을 규명하기 위해.
• 특히 개인이 실제로 그 군집 소속을 변경하거나 벗어날 수 없는 실질적 결과에 기반하여 알고리즘 군집 소속의 법적 이론을 수립하기 위해.
• 불변성 개념을 법적 카테고리가 아니라 기능적 현실로 적용하기 위해: 개인은 법적으로는 변경 가능할 수 있지만, 실제로는 그 군집 소속을 바꿀 수 없다고 간주된다.
• 법적 체계가 이러한 인공적이지만 기능적으로 불변인 카테고리에 기반한 차별에서 개인을 보호해야 한다고 주장하기 위해.
• 비교법적 분석을 통해 기존의 반차별 프레임워크가 등급 보호 원칙(예: 평등 보호, 비차별)의 재해석을 통해 알고리즘 군집을 포함하도록 유연하게 재구성할 수 있음을 보여주기 위해.

실험 결과

연구 질문

• RQ1 북미 및 유럽의 기존 반차별법은 공식적으로 보호받지 않는 특성으로 간주되는 알고리즘 군집에 기반한 차별에서 개인을 보호할 수 있는가?
• RQ2 AI 시스템에 의해 인위적으로 생성된 알고리즘 군집이 법적으로 보호받지 못함에도 불구하고 어떻게 실질적으로 불변 특성과 유사하게 작용하는가?
• RQ3 알고리즘 군집 소속의 사회적 및 구조적 결과가 법적으로 보호받는 불변 특성과 관련된 피해와 어떻게 유사한가?
• RQ4 기존의 비차별법에 알고리즘 군집이 공식적으로 포함되지 않았음에도 불구하고 실질적 영향과 자율성 및 기회에 대한 영향을 메우기 위한 법적 이론은 무엇인가?
• RQ5 ‘인공적 불변성’ 개념을 얼마나 넓게 활용하여 인공지능 기반 프로파일링으로 피해를 입은 개인에게 법적 보호를 확장할 수 있는가?

주요 결과

• 신용 평가나 채용 과정에서 유도된 알고리즘 군집은 법적으로 공식적으로 인정되지 않음에도 불구하고, 실질적으로는 불변 특성과 유사하게 작용한다.
• 이러한 군집에 기반한 알고리즘 프로파일링을 겪는 개인들은 법적으로 보호받는 군집의 구성원이 겪는 것과 유사한 이동성 및 기회 장벽을 경험한다.
• 인공적 불변성 이론은 법적 분류가 아니라 실질적 영향에 초점을 맞춤으로써 법적 보호의 기능적 근거를 제공한다.
• 북미 및 유럽의 법체계는 알고리즘 군집으로 인한 피해에 대해 실질적인 사회적 영향이 크지만, 여전히 법적 도구가 부족하다.
• 이 이론은 입법 변화 없이도 기존의 반차별 원칙을 재해석하여 알고리즘 군집을 포함시킬 수 있음을 보여준다.
• 이 프레임워크는 차별의 핵심 피해가 특성의 법적 지위가 아니라 개인의 삶에 대한 실질적이고 끊임없는 영향에 있음을 입증한다.