[논문 리뷰] Trustworthy, Responsible, and Safe AI: A Comprehensive Architectural Framework for AI Safety with Challenges and Mitigations

Chen Chen, Gong, Xueluan외 4명|arXiv (Cornell University)|2024. 08. 23.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

본 논문은 AI 안전성을 위한 세 기둥 아키텍처 프레임워크(신뢰할 수 있는 AI, 책임 있는 AI, 안전한 AI)를 제안하고, 생태계 전반에서 LLM/GAI 안전성에 초점을 맞춘 도전 과제와 완화 방안을 검토한다.

ABSTRACT

AI Safety is an emerging area of critical importance to the safe adoption and deployment of AI systems. With the rapid proliferation of AI and especially with the recent advancement of Generative AI (or GAI), the technology ecosystem behind the design, development, adoption, and deployment of AI systems has drastically changed, broadening the scope of AI Safety to address impacts on public safety and national security. In this paper, we propose a novel architectural framework for understanding and analyzing AI Safety; defining its characteristics from three perspectives: Trustworthy AI, Responsible AI, and Safe AI. We provide an extensive review of current research and advancements in AI safety from these perspectives, highlighting their key challenges and mitigation approaches. Through examples from state-of-the-art technologies, particularly Large Language Models (LLMs), we present innovative mechanism, methodologies, and techniques for designing and testing AI safety. Our goal is to promote advancement in AI safety research, and ultimately enhance people's trust in digital transformation.

연구 동기 및 목표

• 세 기둥: 신뢰할 수 있는 AI, 책임 있는 AI, 안전한 AI를 기반으로 하는 AI 안전성의 아키텍처 프레임워크를 정의한다.
• 현 AI 시스템 및 생태계에서 각 기둥에 영향을 미치는 도전 과제와 취약점을 분석한다.
• 기술적, 윤리적, 거버넌스 차원을 넘나드는 완화 전략을 검토한다.
• 신뢰할 수 있는 AI 공급망과 사회적 안전을 보장하기 위한 라이프사이클, 거버넌스, 테스트 접근법을 논의한다.
• 최신 AI 기술, 특히 LLMs와 Generative AI의 예를 통해 개념을 설명한다.

제안 방법

• 세 기둥을 중심으로 일관된 AI 안전성의 아키텍처 프레이밍을 제안한다.
• 각 기둥과 관련된 현재 연구 및 개발에 대한 광범위한 문헌 검토를 제공한다.
• 입력 강건성, 적대적 공격, 다중 모달 및 시스템 차원의 위험에 걸친 도전 과제와 취약점을 개괄한다.
• 기술적, 윤리적, 거버넌스 조치를 통합한 완화 전략을 논의한다.
• LLMs의 예를 사용하여 AI 안전성의 메커니즘, 방법론, 테스트 접근법을 설명한다.

Figure 1. Three pillars of AI Safety, i.e., Trustworthy AI, Responsible AI and Safe AI.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 AI, 책임 있는 AI, 그리고 안전한 AI를 위협하는 주요 도전과제와 취약점은 무엇인가?
• RQ2 기술적, 윤리적, 거버넌스 차원에서 AI 안전성을 강화하기 위한 완화 전략은 무엇인가?
• RQ3 프런티어 AI 생태계(예: LLMs/GAI)가 조직 및 생태계 차원에서 신뢰, 책임 및 안전에 어떠한 영향을 미치는가?
• RQ4 신뢰할 수 있는 AI 공급망을 유지하기 위해 AI 모델과 시스템을 어떻게 테스트, 평가, 관리할 수 있는가?

주요 결과

• AI 안전성을 위한 새로운 세 기둥 아키텍처 프레임워크를 제시한다.
• 기술적, 윤리적, 생태계 차원에 걸친 폭넓은 도전과 취약점을 검토한다.
• 기술적 안전장치, 거버넌스, 윤리를 아우르는 완화 전략을 논의한다.
• 안전 고려사항과 메커니즘을 형성하는 데 있어 LLMs와 Generative AI의 역할을 강조한다.
• 디지털 트랜스포메이션에서 공공의 신뢰를 구축하기 위한 포괄적이고 생태계 인지적인 안전 관행을 옹호한다.

Figure 2. Relations between AI foundation model and AI systems.