[논문 리뷰] Towards Concrete and Connected AI Risk Assessment (C$^2$AIRA): A Systematic Mapping Study

Boming Xia, Qinghua Lu외 5명|arXiv (Cornell University)|2023. 01. 27.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

16개 산업 주도 AI 위험 평가 프레임워크를 체계적으로 매핑하여 특징, 프로세스, 격차를 분석하고 구체적이고 연결된 C2AIRA 프레임워크를 제안한다.

ABSTRACT

The rapid development of artificial intelligence (AI) has led to increasing concerns about the capability of AI systems to make decisions and behave responsibly. Responsible AI (RAI) refers to the development and use of AI systems that benefit humans, society, and the environment while minimising the risk of negative consequences. To ensure responsible AI, the risks associated with AI systems' development and use must be identified, assessed and mitigated. Various AI risk assessment frameworks have been released recently by governments, organisations, and companies. However, it can be challenging for AI stakeholders to have a clear picture of the available frameworks and determine the most suitable ones for a specific context. Additionally, there is a need to identify areas that require further research or development of new frameworks, as well as updating and maintaining existing ones. To fill the gap, we present a mapping study of 16 existing AI risk assessment frameworks from the industry, governments, and non-government organizations (NGOs). We identify key characteristics of each framework and analyse them in terms of RAI principles, stakeholders, system lifecycle stages, geographical locations, targeted domains, and assessment methods. Our study provides a comprehensive analysis of the current state of the frameworks and highlights areas of convergence and divergence among them. We also identify the deficiencies in existing frameworks and outlines the essential characteristics of a concrete and connected framework AI risk assessment (C$^2$AIRA) framework. Our findings and insights can help relevant stakeholders choose suitable AI risk assessment frameworks and guide the design of future frameworks towards concreteness and connectedness.

연구 동기 및 목표

• 산업계의 기존 AI 위험 평가 프레임워크를 조사하고 종합하여 특징, 능력, 한계를 이해한다.
• 책임 있는 AI 원칙에 프레임워크를 매핑하여 적용 범위의 격차를 식별한다.
• 프레임워크가 이해관계자, 생애주기 단계, 도메인, 평가 프로세스를 다루는 방식을 평가한다.
• 결함을 식별하고 향후 구체적이고 연결된 C2AIRA 프레임워크를 위한 필수 특성을 제시한다.

제안 방법

• 산업, 정부, NGO로부터 수집된 16개의 산업 AI 위험 평가 프레임워크의 체계적 매핑.
• 인구통계, RAI 원칙, 이해관계자, 생애주기 단계, 지리, 도메인별로 프레임워크를 분류.
• 절차적 프레임워크와 서술적 프레임워크의 입력, 과정, 산출물 분석.
• 호주 AI 윤리 원칙에 대한 프레임워크의 교차 매핑으로 비교를 표준화.
• 수렴/발산을 강조하는 질적 합성 및 향후 프레임워크 설계를 위한 격차 식별.

실험 결과

연구 질문

• RQ1 RQ1: 기존 AI 위험 평가 프레임워크의 특징은 무엇인가? (인구통계, RAI 원칙, 이해관계자, 생애주기 단계, 지리, 도메인)
• RQ2 RQ2: 프레임워크 전반에서 AI 위험은 어떻게 평가되며(입력, 과정, 산출물) 위험 요인과 완화에서 공통점과 격차는 무엇인가

주요 결과

• 16개의 산업 AI 위험 평가 프레임워크를 분석했고, 62.5%가 2022년에 발표되거나 업데이트되었습니다.
• 대부분의 프레임워크는 미국, 영국, EU, 캐나다, 호주 및 NGO에서 기원하며 많은 프레임워크가 정부 발행입니다.
• 11개 프레임워크 중 11개가 지침 RAI 원칙을 명시하고; 원칙을 명시한 모든 것은 HSE 웰빙 및 인간 중심 가치를 강조하며 공정성, 신뢰성/안전, 투명성/설명가능성의 폭넓은 커버리지를 보인다.
• 이해관계자 참여는 10개 프레임워크에서 언급되지만, 다양한 다계층 이해관계자 역할은 종종 충분히 반영되지 않는다.
• 대부분의 프레임워크는 위험성 및 노출을 다루며 취약성도 일반적으로 고려되지만 완화 위험은 덜 다뤄진다.
• 7개의 프레임워크는 생애주기 단계를 명시하지 않으며, 다른 프레임워크는 계획, 설계, 배포, 운영 단계에서 위험을 매핑한다; 여러 프레임워크는 공공부문, 보건의료, 아동용 AI 등 도메인 특정 맥락을 다룬다.
• 절차적 프레임워크는 더 구체적이고 템플릿, 체크리스트 또는 자동 점수를 포함하는 경향이 있으며, 서술적 프레임워크는 더 고수준이다.
• 입력은 주로 주관적 Q&A 템플릿이며, 인터랙티브 도구나 자동 점수를 포함하는 하위 집합만 존재하고, 완화 지침은 프레임워크마다 다르게 제공된다.
• 식별된 격차에는 위험 요인의 제한된 차별화, 완화 위험에 대한 불충분한 처리, 특정 맥락에 프레임워크를 맞추는 명확한 지침의 부족이 포함된다.