[논문 리뷰] Using sensitive data to prevent discrimination by artificial intelligence: Does the GDPR need a new exception?

Marvin van Bekkum, Frederik Zuiderveen Borgesius|arXiv (Cornell University)|2022. 05. 17.

European Criminal Justice and Data Protection인용 수 4

한 줄 요약

이 논문은 개인정보 보호법(GDPR)이 특별 카테고리의 개인 정보(예: 민족, 종교, 성적 지향) 처리를 엄격히 금지함으로써 조직이 인공지능(AI) 시스템의 차별성 여부를 감시하는 데 어려움을 겪는다고 주장한다. 논문은 차별 방지 감시를 위해 민감한 데이터를 사용할 수 있도록 GDPR 내 새로운 법적 예외를 제안함으로써, AI 거버넌스에서 개인정보 보호와 차별 금지 목표 간의 균형을 이루고자 한다.

ABSTRACT

Organisations can use artificial intelligence to make decisions about people for a variety of reasons, for instance, to select the best candidates from many job applications. However, AI systems can have discriminatory effects when used for decision-making. To illustrate, an AI system could reject applications of people with a certain ethnicity, while the organisation did not plan such ethnicity discrimination. But in Europe, an organisation runs into a problem when it wants to assess whether its AI system accidentally discriminates based on ethnicity: the organisation may not know the applicants' ethnicity. In principle, the GDPR bans the use of certain 'special categories of data' (sometimes called 'sensitive data'), which include data on ethnicity, religion, and sexual preference. The proposal for an AI Act of the European Commission includes a provision that would enable organisations to use special categories of data for auditing their AI systems. This paper asks whether the GDPR's rules on special categories of personal data hinder the prevention of AI-driven discrimination. We argue that the GDPR does prohibit such use of special category data in many circumstances. We also map out the arguments for and against creating an exception to the GDPR's ban on using special categories of personal data, to enable preventing discrimination by AI systems. The paper discusses European law, but the paper can be relevant outside Europe too, as many policymakers in the world grapple with the tension between privacy and non-discrimination policy.

연구 동기 및 목표

• GDPR가 특별 카테고리의 개인 정보 처리를 금지함으로써 AI 시스템의 차별성 감시를 효과적으로 방해하는지 조사하기.
• 인공지능 의사결정 과정에서 편향을 탐지하기 위해 민감한 데이터(예: 민족, 종교)를 사용하는 데 있어 법적 및 정책적 영향 평가하기.
• 조직이 사전에 AI 기반 차별을 방지할 수 있도록 하기 위해 GDPR에 새로운 예외가 필요한지 평가하기.
• 유럽연합의 AI 법(_AI Act_)을 배경으로 하여 개인정보 보호와 차별 금지 간의 갈등을 분석하기.
• 데이터 보호 원칙을 훼손하지 않으면서 민감한 데이터의 책임 있는 사용을 가능하게 하는 법적 및 정책적 프레임워크 제공하기.

제안 방법

• 특별 카테고리의 개인 정보에 관한 GDPR 조항과 AI 감시에의 적용을 비교법적으로 분석하기.
• 기존 GDPR 예외(예: 명시적 동의, 법적 의무 등)를 맵핑하여 차별 금지 감시에 적합한지 평가하기.
• 민감한 카테고리 데이터를 감시 목적으로 사용할 수 있도록 허용하는 제안된 AI 법 조항을 평가하고, GDPR과의 호환성 분석하기.
• 사례 법원 판결 및 규제 지침을 분석하여 AI 공정성 평가를 위한 현재 법적 프레임워크의 격차 파악하기.
• 민감한 데이터를 오직 AI 차별 방지를 위한 감시 목적으로만 사용할 수 있도록 하는 새로운, 구체적인 GDPR 예외에 대한 규범적 법적 논거 수립하기.
• 유럽 기본권법, 특히 개인정보 보호 및 차별 금지 원칙을 고려할 때 그러한 예외의 실현 가능성과 정당성 평가하기.

실험 결과

연구 질문

• RQ1 GDPR의 현재 특별 카테고리 개인 정보 처리 금지 조항이 조직이 AI 시스템의 차별성 감시를 수행하는 데 얼마나 막는가?
• RQ2 GDPR 하에서 현재 어떤 법적 근거가 AI의 차별 금지 감시를 위해 민감한 데이터 사용을 허용할 수 있는가?
• RQ3 민감한 데이터를 사용하여 AI 시스템을 감시하는 데 대해 새로운 GDPR 예외를 도입할 법적 및 정책적 정당성이 있는가?
• RQ4 제안된 예외가 좁게 적용되고 비례적이며 기본권 원칙을 준수하도록 설계될 수 있는가?
• RQ5 그러한 새로운 예외가 개인정보 보호와 AI 거버넌스에서의 차별 금지 간의 균형에 어떤 영향을 미치는가?

주요 결과

• 현재 GDPR은 대부분의 경우 민족, 종교, 성적 지향과 같은 특별 카테고리의 개인 정보를 사용하여 AI 시스템을 감시하는 것을 금지하고 있다.
• 명시적 동의나 법적 의무와 같은 기존 GDPR 예외는 AI의 체계적 차별 금지 감시를 가능하게 하기에 부적합하거나 비현실적이다.
• 민감한 데이터를 감시 목적으로 사용할 수 있도록 허용하는 제안된 AI 법 조항은 전진이지만, 새로운 GDPR 예외가 마련되지 않는 한 GDPR과 호환되지 않는다.
• 조직이 AI 기반 차별을 탐지하고 방지할 수 있도록 하기 위해 새로운, 구체적인 GDPR 예외는 법적으로나 규범적으로 정당하다.
• 그러한 예외는 좁게 적용되어야 하며, 보호 조치를 수반하고, 공정성과 차별 금지 감시를 위한 목적에 국한되어야 한다.
• 논문은 새로운 예외가 마련되지 않는 한 GDPR이 오히려 공정하고 차별 없는 AI 시스템을 확보하려는 노력을 뒷받침하지 못할 수 있다고 결론 내린다.