[논문 리뷰] Safety Cases: How to Justify the Safety of Advanced AI Systems

Joshua Clymer, Nick Gabrieli외 2명|arXiv (Cornell University)|2024. 03. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 네 가지 주장 카테고리(불가능성, 통제, 신뢰성, 경외)를 개략하고, AI 안전 사례를 구축하기 위한 프레임워크를 제시하며 배치에 대한 안전성 구조화, 평가 및 잠재적 인증 방법을 설명한다.

ABSTRACT

As AI systems become more advanced, companies and regulators will make difficult decisions about whether it is safe to train and deploy them. To prepare for these decisions, we investigate how developers could make a 'safety case,' which is a structured rationale that AI systems are unlikely to cause a catastrophe. We propose a framework for organizing a safety case and discuss four categories of arguments to justify safety: total inability to cause a catastrophe, sufficiently strong control measures, trustworthiness despite capability to cause harm, and -- if AI systems become much more powerful -- deference to credible AI advisors. We evaluate concrete examples of arguments in each category and outline how arguments could be combined to justify that AI systems are safe to deploy.

연구 동기 및 목표

• 고급 AI 시스템에 대한 안전 사례의 개념을 배치가 재앙을 야기할 가능성이 낮다는 구조화된 합리적 근거로서 도입한다.
• 안전 주장을 조직하고 매크로시스템과 서브시스템을 평가하기 위한 여섯 단계 프레임워크를 제안한다.
• 네 가지 안전 주장 카테고리(불가능성, 통제, 신뢰성, 경외)를 식별하고 구체적인 템플릿과 예시를 제공한다.
• 안전 사례와 위험 사례의 통합을 논의하고 기관과 규제 당국을 위한 정책 권고를 제시한다.

제안 방법

• 여섯 단계 안전 사례 프레임워크 내에서 AI 매크로시스템과 배포 결정을 정의한다.
• 안전 주장을 네 가지 범주로 분류하고 그 구조와 활용 사례를 자세히 설명한다.
• 각 주장 유형에 대한 구체적인 템플릿과 예시를 제공한다(위험한 능력 평가를 포함).
• 제안된 안전 주장들의 실용성, 최대 강도, 확장성을 평가한다.
• GSN(Goal Structuring Notation)을 사용한 전체적 안전 사례 및 잠재적 위험 매트릭스에 대한 프로세스를 제안한다.
• 연속 모니터링 및 하드 대 소프트 표준을 포함하여 기관, 감사인, 규제를 위한 권고를 제시한다.

Figure 1: the GSN diagram is the start of a holistic safety case 6 . The decomposition above would occur in step 2 (specifying unacceptable outcomes). ‘G’ labeled rectangles represent subclaims (i.e. goals). ‘S’ labeled parallelograms indicate justification strategies. For an example of a full safet

실험 결과

연구 질문

• RQ1 고급 AI 시스템을 배치하기 위한 구조화된 안전 사례는 무엇으로 구성되는가?
• RQ2 안전 사례를 서브시스템으로 분해하고 매크로 수준의 위험을 어떻게 평가할 수 있는가?
• RQ3 AI 안전성을 정당화하기 위한 주요 주장 카테고리는 무엇이며, 이를 구체적으로 어떻게 구현할 수 있는가?
• RQ4 위험 사례 고려를 포함하여 안전 사례를 시간이 지남에 따라 어떻게 평가하고 업데이트해야 하는가?

주요 결과

• 네 가지 빌딩 블록 안전 주장으로 불가능성, 통제, 신뢰성, 경외를 식별한다.
• AI 안전 사례를 구성하고 평가하기 위한 엔드 투 엔드 여섯 단계 프레임워크가 제안된다.
• 위험한 능력 평가, 모니터링, 외부화된 추론, 테스트베드가 실용적이고 확장 가능한 빌딩 블록으로 강조된다.
• 포괄적 안전 사례는 목표 구조화 표기법(GSN)으로 표현될 수 있으며 제3자 감사인이 검토한 위험 사례로 보완된다.

Figure 2: As AI systems become more powerful, developers will likely increasingly rely on arguments toward the right in the plot above.