[论文解读] An evidence-based methodology for human rights impact assessment (HRIA) in the development of AI data-intensive systems

Alessandro Mantelero, Maria Samantha Esposito|arXiv (Cornell University)|Jul 30, 2024

Privacy, Security, and Data Protection参考文献 3被引用 66

一句话总结

本文提出了一种基于证据的人权影响评估（HRIA）方法，用于人工智能数据密集型系统，其基础是欧洲数据保护机构700多项裁决的实证分析。该模型可对人工智能对人权的影响进行可衡量、分风险等级的评估，支持合规性、设计迭代以及人工智能全生命周期中的利益相关方参与。

ABSTRACT

Different approaches have been adopted in addressing the challenges of Artificial Intelligence (AI), some centred on personal data and others on ethics, respectively narrowing and broadening the scope of AI regulation. This contribution aims to demonstrate that a third way is possible, starting from the acknowledgement of the role that human rights can play in regulating the impact of data-intensive systems. The focus on human rights is neither a paradigm shift nor a mere theoretical exercise. Through the analysis of more than 700 decisions and documents of the data protection authorities of six countries, we show that human rights already underpin the decisions in the field of data use. Based on empirical analysis of this evidence, this work presents a methodology and a model for a Human Rights Impact Assessment (HRIA). The methodology and related assessment model are focused on AI applications, whose nature and scale require a proper contextualisation of HRIA methodology. Moreover, the proposed models provide a more measurable approach to risk assessment which is consistent with the regulatory proposals centred on risk thresholds. The proposed methodology is tested in concrete case-studies to prove its feasibility and effectiveness. The overall goal is to respond to the growing interest in HRIA, moving from a mere theoretical debate to a concrete and context-specific implementation in the field of data-intensive applications based on AI.

研究动机与目标

• 开发一种实用的、情境特定的人工智能系统HRIA方法论，推动从理论伦理向法律与监管实施的转变。
• 解决广泛数据保护法规在捕捉人工智能特有人权风险方面的局限性。
• 提供一种可衡量、按风险分级的评估工具，与新兴监管框架（如欧盟人工智能法案）保持一致。
• 支持开发者和监管机构主动识别、评估和缓解人工智能系统中的人权风险。
• 通过结构化的影响报告和全生命周期监控，实现透明、参与式和可审计的人工智能开发。

提出的方法

• 该方法基于对六个欧洲国家数据保护机构700多项裁决和文件的实证分析。
• 根据实际法律和监管结果，识别并映射数据密集型人工智能系统影响的具体人权与自由。
• HRIA模型将风险评估与可衡量的指标（包括影响的可能性、严重性和范围）相结合，实现风险分级。
• 该模型通过允许比较不同人工智能配置和缓解策略，支持迭代式设计。
• 包含HRIA管理计划，明确时间表、职责分工和绩效指标，以支持实施与监控。
• 该模型已在具体案例研究中得到测试，并设计为可扩展至各类人工智能项目，包括智慧城市等大规模系统。

实验结果

研究问题

• RQ1 根据现实世界中的监管裁决，数据密集型人工智能系统如何影响基本人权？
• RQ2 在实践中，哪些关键人权与自由最常受到人工智能应用的影响？
• RQ3 如何对HRIA进行形式化，以提供与监管阈值一致的可衡量、风险分级的评估？
• RQ4 HRIA在哪些方面可支持迭代式、以人为本的人工智能设计与利益相关方参与？
• RQ5 HRIA如何适应不同法律文化，并整合进人工智能全生命周期管理？

主要发现

• 对700多项裁决的实证分析表明，人权（尤其是隐私权、非歧视权和公平对待权）在欧洲的数据保护裁决中已居于核心地位。
• 传统HRIA报告往往缺乏定量风险评估，影响分级与缓解措施仍依赖责任主体；所提出的模型通过标准化指标填补了这一空白。
• HRIA模型支持风险分级，可通过明确的监管合规路径，防止高风险人工智能系统进入市场。
• 该模型通过定期审计、进度报告和人权指标，支持全生命周期监控，增强问责性。
• 对于智慧城市等大规模人工智能系统，必须进行综合评估，需引入外部顾问并采用共同设计流程，以捕捉累积的社会技术影响。
• 该模型通过提供清晰、结构化且可比较的人工智能设计选择及其人权影响证据，促进利益相关方参与。