[논문 리뷰] An evidence-based methodology for human rights impact assessment (HRIA) in the development of AI data-intensive systems

Alessandro Mantelero, Maria Samantha Esposito|arXiv (Cornell University)|2024. 07. 30.

Privacy, Security, and Data Protection참고 문헌 3인용 수 66

한 줄 요약

이 논문은 유럽의 데이터 보호 당국에서 내린 700건 이상의 결정을 바탕으로 한 실증 분석을 토대로, 데이터 집약적 시스템에 대한 증거 기반 인간권 영향 평가(HRIA) 방법론을 제안한다. 이 모델은 인간권에 미치는 AI 영향을 측정 가능하고 위험 수준에 따라 분류된 평가를 가능하게 하여, AI 생명주기 전반에 걸쳐 규제 준수, 설계 반복, 이해관계자 참여를 지원한다.

ABSTRACT

Different approaches have been adopted in addressing the challenges of Artificial Intelligence (AI), some centred on personal data and others on ethics, respectively narrowing and broadening the scope of AI regulation. This contribution aims to demonstrate that a third way is possible, starting from the acknowledgement of the role that human rights can play in regulating the impact of data-intensive systems. The focus on human rights is neither a paradigm shift nor a mere theoretical exercise. Through the analysis of more than 700 decisions and documents of the data protection authorities of six countries, we show that human rights already underpin the decisions in the field of data use. Based on empirical analysis of this evidence, this work presents a methodology and a model for a Human Rights Impact Assessment (HRIA). The methodology and related assessment model are focused on AI applications, whose nature and scale require a proper contextualisation of HRIA methodology. Moreover, the proposed models provide a more measurable approach to risk assessment which is consistent with the regulatory proposals centred on risk thresholds. The proposed methodology is tested in concrete case-studies to prove its feasibility and effectiveness. The overall goal is to respond to the growing interest in HRIA, moving from a mere theoretical debate to a concrete and context-specific implementation in the field of data-intensive applications based on AI.

연구 동기 및 목표

• 이론적 윤리에서 법적 및 규제적 이행으로 나아가는 실용적이고 맥락에 맞는 AI 시스템을 위한 HRIA 방법론을 개발하기 위해.
• 광범위한 데이터 보호 규정이 AI 전용 인간권 위험을 충분히 반영하지 못하는 한계를 해결하기 위해.
• 유럽 연합 AI 법과 같은 신규 규제 프레임워크와 일치하는 측정 가능하고 위험 수준에 따라 등급을 매긴 평가 도구를 제공하기 위해.
• 개발자와 규제 당국가 모두가 AI 시스템 내 인간권 위험을 사전에 식별하고 평가하며 완화할 수 있도록 지원하기 위해.
• 구조화된 영향 보고서와 생명주기 모니터링을 통해 투명하고 참가형이며 감사 가능한 AI 개발을 가능하게 하기 위해.

제안 방법

• 이 방법론은 유럽의 6개국 데이터 보호 당국에서 내린 700건 이상의 결정과 문서를 실증 분석한 데 기반한다.
• 실제 법적 및 규제 결과를 바탕으로 데이터 집약적 AI 시스템이 영향을 미치는 특정한 인간권과 자유를 식별하고 맵핑한다.
• 위험 평가를 측정 가능한 지표(발생 가능성, 심각도, 영향 범위)와 통합하여 위험 수준에 따른 분류가 가능한 HRIA 모델을 구성한다.
• 다양한 AI 구성 및 완화 전략 간 비교를 가능하게 하여 반복적 설계를 지원한다.
• 실행 및 모니터링를 위한 일정, 책임자, 성과 지표를 포함한 HRIA 관리 계획을 포함한다.
• 구체적 사례 연구를 통해 검증되었으며, 스마트 시티와 같은 대규모 시스템을 포함한 다양한 AI 프로젝트에 확장 가능한 설계를 한다.

실험 결과

연구 질문

• RQ1 실제 규제 결정에 따르면, 데이터 집약적 AI 시스템은 기본적인 인간권에 어떻게 영향을 미치는가?
• RQ2 실제로 AI 응용 분야에서 가장 자주 영향을 받는 핵심 인간권과 자유는 무엇인가?
• RQ3 HRIA는 어떻게 체계화되어야 하며, 규제 기준 수준과 일치하는 측정 가능하고 위험 수준에 따라 등급을 매긴 평가를 제공할 수 있는가?
• RQ4 HRIA는 반복적이고 인간 중심적인 AI 설계 및 이해관계자 참여를 어떻게 지원할 수 있는가?
• RQ5 HRIA는 어떻게 다른 법 문화에 맞게 적응되고 AI 생명주기 관리에 통합될 수 있는가?

주요 결과

• 700건 이상의 결정에 대한 실증 분석 결과, 특히 사생활, 차별 금지, 공정한 대우와 같은 인간권이 이미 유럽의 데이터 보호 결정에서 핵심 요소로 작용하고 있음을 확인했다.
• 기존의 HRIA 보고서는 종종 정량적 위험 평가를 포함하지 않아 영향 등급 매기기와 완화 조치를 의무 이행자에게 맡기고 있으나, 제안된 모델은 표준화된 지표로 이를 메우고 있다.
• HRIA 모델은 위험 수준에 따른 분류를 가능하게 하여, 명확한 규제 준수 경로를 제공함으로써 고위험 AI 시스템이 시장에 진입하는 것을 방지할 수 있다.
• 정기적 감사, 진도 보고서, 인간권 지표를 통한 주기적 감시를 통해 생명주기 모니터링을 지원함으로써 책임성 향상을 도모한다.
• 스마트 시티와 같은 대규모 AI 시스템의 경우 누적된 사회기술적 영향을 포괄적으로 파악하기 위해 외부 전문가 및 공동 설계 과정이 필요하다.
• HRIA 모델은 AI 설계 선택과 그 인간권 영향에 대한 명확하고 체계적이며 비교 가능한 증거를 제공함으로써 이해관계자 참여를 촉진한다.