[논문 리뷰] AI Risk Categorization Decoded (AIR 2024): From Government Regulations to Corporate Policies

Yi Zeng, Kevin Klyman외 7명|arXiv (Cornell University)|2024. 06. 25.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 유럽 연합, 미국, 중국 및 16개 글로벌 기업의 24개 정책 문서를 바탕으로 한 통합된 4단계 AI 위험 분류체계인 AIR 2024를 제안한다. 이 분류체계는 314개의 고유한 위험 유형을 규명한다. 공공 및 민간 부문 프레임워크 간 위험을 맵핑함으로써 규제의 격차를 드러내며, 기업 정책이 더 세밀한 내용을 담고 있음을 확인한다. 이를 통해 다학문적 협업과 AI 안전 평가의 표준화된 언어를 제공한다.

ABSTRACT

We present a comprehensive AI risk taxonomy derived from eight government policies from the European Union, United States, and China and 16 company policies worldwide, making a significant step towards establishing a unified language for generative AI safety evaluation. We identify 314 unique risk categories organized into a four-tiered taxonomy. At the highest level, this taxonomy encompasses System & Operational Risks, Content Safety Risks, Societal Risks, and Legal & Rights Risks. The taxonomy establishes connections between various descriptions and approaches to risk, highlighting the overlaps and discrepancies between public and private sector conceptions of risk. By providing this unified framework, we aim to advance AI safety through information sharing across sectors and the promotion of best practices in risk mitigation for generative AI models and systems.

연구 동기 및 목표

• 공공 및 민간 부문의 시각을 모두 포함하는 통합된 AI 위험 분류체계가 부족한 문제를 해결한다.
• 생성형 AI와 관련된 위험을 기업과 정부가 어떻게 분류하는지 체계적으로 분석한다.
• 정부 규제와 기업 정책 간의 불일치 및 겹침을 규명하여 보다 효과적인 위험 완화를 위한 기반을 마련한다.
• 다양한 관할권과 산업 간 일관된 AI 안전 평가를 지원하기 위해 표준화되고 세밀한 프레임워크를 개발한다.
• 미래 정책 개발, 기준 설정, 국제적 협력에 기초가 되는 데이터 기반 기반을 제공한다.

제안 방법

• 유럽 연합, 미국, 중국의 8개 정부 규제 및 16개 기업 정책을 포함한 24개 정책 문서를 일행별로 분석한다.
• 모든 고유한 위험 기술을 4단계 계층적 분류체계로 추출 및 맵핑한다: 1단계(4개의 고수준 카테고리), 2단계(18개의 하위카테고리), 3단계(104개의 하위하위카테고리), 4단계(314개의 원자적 위험 유형).
• 위험을 네 가지 주요 영역으로 분류한다: 시스템 및 운영 위험, 콘텐츠 안전 위험, 사회적 위험, 법적 권리 위험.
• 분류체계를 활용해 관할권 및 부문 간 비교 분석을 수행하여 일치성, 커버리지 및 세밀함을 평가한다.
• 중국의 생성형 AI 서비스 임시 조치 및 DeepSeek, Baidu의 정책을 사례 연구로 활용해 법적 규제와 기업 실무 간 일치성을 평가한다.
• 3단계 및 4단계 맵핑을 통해 위험 유형 간 겹침과 차이를 정량화하고, 정책 커버리지 및 준수 격차에 대한 통계 보고서를 작성한다.

Figure 1 : Overview of the AI risk taxonomy derived from 24 policy and regulatory documents, encompassing 314 unique risk categories. Charts on the right-hand side map to major AI regulations.

실험 결과

연구 질문

• RQ1 유럽 연합, 미국, 중국에서 정부 규제와 기업 정책는 생성형 AI 관련 위험을 어떻게 다릅니다?
• RQ2 기업의 AI 정책가 현재 정부 규제에서 명시적으로 다루지 않는 위험 유형을 얼마나 커버하고 있습니까?
• RQ3 공공 부문과 민간 부문의 위험 정의 범위 및 세밀함에서 나타나는 주요 격차나 일관성 없는 점은 무엇입니까?
• RQ4 중국 기업 정책의 위험 유형은 중국의 생성형 AI 서비스 임시 조치에서 법적으로 의무화된 위험 유형과 얼마나 일치합니까?
• RQ5 실제 정책에서 유도된 통합 분류체계는 향후 AI 안전 기준 및 다국적 정책 조율의 기초로 기능할 수 있습니까?

주요 결과

• AIR 2024 분류체계는 314개의 고유한 위험 유형을 4단계 계층 구조로 정리하여 AI 위험 평가에 전례 없는 세밀함을 제공한다.
• 기업 정책은 중국의 생성형 AI 서비스 임시 조치에서 규정한 위험 유형의 90퍼센트 이상을 커버하고 있어, 두 가지 특정 위험 유형을 제외하고는 높은 일치성을 보이고 있다.
• 연구 대상이 된 두 중국 기업인 DeepSeek와 Baidu는 기업 정책에서 '시스템의 자율적 위험 운영' 또는 '엄격한 규제 분야의 조언'을 명시적으로 언급하지 않았지만, 유사한 위험을 다루는 책임 면제 조항을 포함하고 있다.
• EU AI 법과 미국 행정명령을 포함한 정부 규제는 기업 정책보다 더 적은 위험 유형을 포함하고 있어, 시행에 효과적인 세부사항이 부족할 수 있음을 시사한다.
• 분석 결과 기업 정책는 자살 유도 및 운영 오용과 같은 분야에서 규제 요구사항을 앞서거나 초월하는 경우가 많아, 향후 규제 개선에 산업 실무가 기여할 수 있음을 보여준다.
• 고수준의 위험 유형 일치에도 불구하고, 2단계 수준의 표면적 일치는 4단계 수준에서의 심각한 불일치를 가리킬 수 있으며, 이는 정책 및 안전 평가에서 원자적 수준의 세밀한 위험 분류의 필요성을 강조한다.

Figure 3 : EU regulations specified AI risks mapped as 23 level-3 categories in the AIR 2024.