[論文レビュー] Using sensitive data to prevent discrimination by artificial intelligence: Does the GDPR need a new exception?

Marvin van Bekkum, Frederik Zuiderveen Borgesius|arXiv (Cornell University)|May 17, 2022

European Criminal Justice and Data Protection被引用数 4

ひとこと要約

本論文は、GDPRにおける特別な個人データ（民族・宗教・性的指向など）の処理を厳しく禁止している規定が、AIシステムの差別性を監査する能力を組織に制限していると主張する。本論文は、差別の防止のための監査に敏感なデータを使用することを許可するGDPR内での新たな法的例外を提案し、AIガバナンスにおけるプライバシー保護と差別の禁止の両立を図る。

ABSTRACT

Organisations can use artificial intelligence to make decisions about people for a variety of reasons, for instance, to select the best candidates from many job applications. However, AI systems can have discriminatory effects when used for decision-making. To illustrate, an AI system could reject applications of people with a certain ethnicity, while the organisation did not plan such ethnicity discrimination. But in Europe, an organisation runs into a problem when it wants to assess whether its AI system accidentally discriminates based on ethnicity: the organisation may not know the applicants' ethnicity. In principle, the GDPR bans the use of certain 'special categories of data' (sometimes called 'sensitive data'), which include data on ethnicity, religion, and sexual preference. The proposal for an AI Act of the European Commission includes a provision that would enable organisations to use special categories of data for auditing their AI systems. This paper asks whether the GDPR's rules on special categories of personal data hinder the prevention of AI-driven discrimination. We argue that the GDPR does prohibit such use of special category data in many circumstances. We also map out the arguments for and against creating an exception to the GDPR's ban on using special categories of personal data, to enable preventing discrimination by AI systems. The paper discusses European law, but the paper can be relevant outside Europe too, as many policymakers in the world grapple with the tension between privacy and non-discrimination policy.

研究の動機と目的

• GDPRにおける特別な個人データの処理禁止規定が、差別性を監査するためのAIシステムの有効な監査を妨げているかどうかを調査すること。
• AI意思決定におけるバイアスを特定するために、民族や宗教といった感受性の高いデータの使用が、法的・政策的影響を及ぼすかどうかを評価すること。
• 組織がAI駆動の差別を事前に防止できるようにするため、GDPRに対する新たな例外の必要性を評価すること。
• 特にEUのAI法の文脈において、プライバシー保護と差別の禁止の間にある緊張関係を分析すること。
• データ保護の原則を損なわせることなく、感受性の高いデータをAI監査に責任を持って使用できる法的・政策的枠組みを提供すること。

提案手法

• 特別な個人データに関するGDPR条項とそのAI監査への適用を比較法的に分析すること。
• GDPR内に既存する法的例外（例：明示的同意、法的義務）をマッピングし、差別性監査に適しているかどうかを評価すること。
• AI法で提案されている特別なカテゴリのデータ使用を監査に許可する規定を評価し、GDPRと整合性があるかどうかを検討すること。
• 判例や規制指針を分析し、AIの公平性評価における現在の法的枠組みのギャップを特定すること。
• AI差別性の検出・防止にのみ限定して感受性の高いデータの使用を許可する、新たな的確な例外を法的・規範的根拠に基づき提唱すること。
• EUの基本的権利法、特にデータ保護および差別の禁止の原則を含めた文脈で、そのような例外の実現可能性と正当性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 GDPRにおける特別な個人データの処理禁止規定が、組織がAIシステムの差別性を監査する能力にどの程度影響を与えているか。
• RQ2 GDPR下で、AIの差別性監査のための感受性の高いデータの使用を許可する現在の法的根拠は何か。
• RQ3 AI監査のための感受性の高いデータ使用を明示的に許可する新たなGDPR例外を導入する法的・政策的根拠はあるか。
• RQ4 その提案された例外を、限定的かつ割合的で、基本的権利に準拠した形に設計するにはどうすればよいか。
• RQ5 そのような新たな例外が、AIガバナンスにおけるデータ保護と差別の禁止のバランスに及ぼす影響は何か。

主な発見

• GDPRは、民族・宗教・性的指向といった特別な個人データの使用を、大多数の状況においてAI監査に禁止している。
• 明示的同意や法的義務といった既存のGDPRの例外は、AIの差別性監査を体系的に行うために不十分または現実的でない。
• AI法で提案されている感受性の高いデータの使用を監査に許可する規定は前進であるが、新たなGDPR例外が設けられない限り、GDPRと整合しない。
• 組織がAI駆動の差別を検出し防止できるようにするため、新たな的確なGDPR例外は法的・規範的に正当化される。
• そのような例外は、限定的かつ厳密な保護措置を伴い、公平性および差別の禁止監査という目的に限定される必要がある。
• 本論文は、新たな例外が設けられない限り、GDPRが公平で差別ののないAIシステムを確保する取り組みを逆に損なう可能性があると結論づける。