[논문 리뷰] Standardization Trends on Safety and Trustworthiness Technology for Advanced AI

Jonghong Jeon|arXiv (Cornell University)|2024. 10. 29.

Risk and Safety Analysis인용 수 3

한 줄 요약

이 논문은 고급 AI의 안전성과 신뢰성에 대한 글로벌 표준화 추세를 분석하며, 대규모 언어 모델과 기초 모델에 중점을 둡니다. 표준화가 필요한 핵심 기술 분야를 규명하고, 새로운 규제 프레임워크에 대응하기 위한 전략적 대응책을 제안하며, 국제적 협력과 기술 표준화를 통해 안전하고 신뢰할 수 있으며 글로벌로 조율된 AI 개발을 보장하기 위한 정책적 함의를 제시합니다.

ABSTRACT

Artificial Intelligence (AI) has rapidly evolved over the past decade and has advanced in areas such as language comprehension, image and video recognition, programming, and scientific reasoning. Recent AI technologies based on large language models and foundation models are approaching or surpassing artificial general intelligence. These systems demonstrate superior performance in complex problem solving, natural language processing, and multi-domain tasks, and can potentially transform fields such as science, industry, healthcare, and education. However, these advancements have raised concerns regarding the safety and trustworthiness of advanced AI, including risks related to uncontrollability, ethical conflicts, long-term socioeconomic impacts, and safety assurance. Efforts are being expended to develop internationally agreed-upon standards to ensure the safety and reliability of AI. This study analyzes international trends in safety and trustworthiness standardization for advanced AI, identifies key areas for standardization, proposes future directions and strategies, and draws policy implications. The goal is to support the safe and trustworthy development of advanced AI and enhance international competitiveness through effective standardization.

연구 동기 및 목표

• 고급 AI 시스템에 대한 안전성 및 신뢰성 표준화의 국제적 추세를 분석하기 위해.
• AI 안전성 및 신뢰성 향상을 위해 표준화가 필요한 핵심 기술 분야를 규명하기 위해.
• 미래의 AI 표준화 방향을 예측하고 산업 및 정책 분야에 대응 전략을 제안하기 위해.
• 글로벌 경쟁력 강화 및 AI 안전성 표준의 글로벌 조율을 위한 정책 함의를 도출하기 위해.

제안 방법

• 능력, 데이터 유형, 자율성 수준을 기반으로 고급 AI 시스템 유형(LLM, MLLM, AGI, ASI) 간 비교 분석을 수행합니다.
• 유럽 연합 AI 법( EU AI Act) 및 미국의 AI에 관한 행정명령과 같은 규제 프레임워크를 검토하고 기술 표준과의 일치 필요성을 규명합니다.
• 기존 및 신규 국제 표준(예: ISO/IEC, IEC, NIST)을 투자 분야별 요구사항(투명성, 리스크 관리, 에너지 소비 등)에 따라 매핑합니다.
• 현재 규제 의무사항과 가용 기술 표준, 벤치마크 프레임워크를 비교하여 표준화의 격차를 규명합니다.
• 자율성과 고복잡도를 지닌 AI 시스템을 위한 새로운 위험을 분류하고 평가 기법을 개발함으로써 향후 표준화 프레임워크를 제안합니다.
• 신뢰성 특성 매트릭스(TCM)와 기초 모델 투명도 지수(FMTI)를 도입하여 표준화 노력의 평가 및 안내를 위한 도구로 활용합니다.

실험 결과

연구 질문

• RQ1 고급 AI의 안전성 및 신뢰성에 대한 주요 국제 표준화 추세는 무엇인가요?
• RQ2 어떤 기술 분야와 AI 시스템 유형(예: LLM, 기초 모델)이 새로운 위험을 완화하기 위해 긴급히 표준화되어야 합니까?
• RQ3 현재의 규제 프레임워크(유럽 연합 AI 법, 미국의 AI 행정명령)는 기존 국제 기술 표준과 어떻게 일치합니까?
• RQ4 고급 AI 시스템의 안전성, 투명성, 리스크 관리에 있어 주요 표준화 격차는 무엇입니까?
• RQ5 글로벌 조율 및 경쟁력을 확보하기 위해 필요한 전략적 및 정책적 대응은 무엇입니까?

주요 결과

• 특히 대규모 언어 모델과 기초 모델을 포함한 고급 AI 시스템은 복잡한 다중 영역 작업에서 인간 수준 성능에 도달하거나 이를 초월하고 있습니다.
• AI 연구 논문의 1~3%만이 안전성에 초점을 맞추고 있어, 능력 개발과 위험 완화 간 연구개발 투자에 심각한 불균형이 존재합니다.
• 현재 기초 모델는 환각, 일관성 부족, 낮은 강건성 문제를 겪고 있으며, 안전성 및 신뢰성에 대한 표준화된 평가 프레임워크가 없습니다.
• 유럽 연합 AI 법 및 미국의 AI 행정명령과 같은 규제 프레임워크는 투명성, 리스크 평가, 사고 보고 요구사항을 명시하고 있으며, 이는 점점 ISO/IEC 표준(예: ISO/IEC 23894:2023, ISO/IEC 42001)과 일치하고 있습니다.
• 특히 고위험 및 일반 목적 AI(GPAI) 모델의 다양한 적용 분야에서 AI 시스템을 위한 표준화된 시험 방법 및 검증 기법이 절실하게 필요합니다.
• 시스템적 리스크를 관리하고 고급 AI 개발의 글로벌 안전성 및 신뢰성을 확보하기 위해 국제적 협력과 표준의 조율가 필요합니다.