[논문 리뷰] Reliability, Resilience and Human Factors Engineering for Trustworthy AI Systems

Saurabh Mishra, Anand B. Rao외 4명|arXiv (Cornell University)|2024. 11. 13.

Risk and Safety AnalysisDecision Sciences인용 수 3

한 줄 요약

이 논문은 예측 유지보수 및 건강 관리(PHM)를 중심으로 신뢰할 수 있는 AI 시스템의 신뢰성 향상을 위해 신뢰성 공학, 복원성 공학, 인간요구요구 공학을 통합한 프레임워크를 제안한다. 기존의 고장률, MTBF와 같은 전통적 공학 지표를 적응시키고, 인간 중심 설계 원칙을 통합함으로써 사전 고장 방지 및 효율적 복구를 가능하게 하며, OpenAI의 실제 시스템 상태 데이터를 통해 검증된 확장 가능한 AI 안전성 및 규제 일치 모델을 제공한다.

ABSTRACT

As AI systems become integral to critical operations across industries and services, ensuring their reliability and safety is essential. We offer a framework that integrates established reliability and resilience engineering principles into AI systems. By applying traditional metrics such as failure rate and Mean Time Between Failures (MTBF) along with resilience engineering and human reliability analysis, we propose an integrate framework to manage AI system performance, and prevent or efficiently recover from failures. Our work adapts classical engineering methods to AI systems and outlines a research agenda for future technical studies. We apply our framework to a real-world AI system, using system status data from platforms such as openAI, to demonstrate its practical applicability. This framework aligns with emerging global standards and regulatory frameworks, providing a methodology to enhance the trustworthiness of AI systems. Our aim is to guide policy, regulation, and the development of reliable, safe, and adaptable AI technologies capable of consistent performance in real-world environments.

연구 동기 및 목표

• 복잡한 시스템에서 전통적으로 사용된 공학 분야를 융합하여 핵심 응용 분야에서 신뢰할 수 있는 AI의 증가하는 수요를 충족시킨다.
• 기술적 신뢰성과 인간의 신뢰성이 상호의존적이며, AI 시스템 설계에서 함께 고려되어야 한다는 점을 인지한다.
• 기존 공학 방법론을 활용해 AI 시스템 성능 및 고장 복구를 체계적으로 관리하는 접근법을 개발한다.
• 기존 공학 관행과 새로운 AI 기술 간 격차를 메우며, 정책, 규제 및 리스크 관리 지원을 가능하게 한다.
• AI 생명주기 전반에서 시스템 안전성과 복원성을 향상시키기 위해 개발자와 규제 당국이 실질적으로 활용할 수 있는 데이터 기반 프레임워크를 제공한다.

제안 방법

• AI 시스템의 전 생애주기 단계에서 신뢰성과 복원성을 모니터링하고 관리하기 위해 예측 유지보수 및 건강 관리(PHM)를 통합적 프레임워크로 적용한다.
• 데이터, 모델, 컴퓨팅 인프라, 코드/소프트웨어, 인간 상호작용의 다섯 가지 하위시스템으로 AI 시스템을 분류하고, 각각 고유한 고장 방식을 가진다.
• 실패 모드 및 영향 분석(FMEA)과 같은 신뢰성 공학 기법을 활용해 AI 구성 요소의 고장 위험을 식별하고 우선순위를 정한다.
• 사용자 중심의 AI 신뢰성 모델(HC-AIRM)을 통해 생애주기 전반에 걸쳐 인간요구요구 공학을 통합하며, 사전 구현(설계) 및 사후 구현(응답) 단계를 포함한다.
• 집합 이론과 시그마 대수에 기반한 확률론적 리스크 평가를 포함한 정량적 지표인 고장률, MTBF 등을 적용해 시스템 성능을 평가한다.
• OpenAI의 공개된 시스템 상태 데이터를 활용해 프레임워크의 실용성을 입증하며, 운영 중인 AI 플랫폼에 대한 실제 적용 가능성을 보여준다.

(a) High-Level Overview of AI Failure Modes and Types

실험 결과

연구 질문

• RQ1 기존의 신뢰성 및 복원성 공학 원칙은 어떻게 AI 시스템의 고유한 고장 방식에 적응시킬 수 있는가?
• RQ2 인간요구요구 요소는 AI 시스템 고장 방지 및 복구에 어떤 역할을 하는가? 그리고 이를 AI 설계에 체계적으로 통합하는 방법은 무엇인가?
• RQ3 기존의 공학 지표(예: MTBF, 고장률)는 얼마나 의미 있게 AI 시스템에 적용될 수 있으며, 이를 통해 신뢰성을 확보할 수 있는가?
• RQ4 사용자 중심의 PHM 프레임워크는 실제 운영 환경에서 AI 시스템의 안전성과 복원성을 어떻게 향상시킬 수 있는가?
• RQ5 신뢰성, 복원성, 인간요구요구 공학의 융합은 AI 정책, 규제 및 리스크 관리에 어떤 영향을 미치는가?

주요 결과

• 신뢰성, 복원성, 인간요구요구 공학을 통합한 단일 PHM 프레임워크는 AI 시스템의 예측 가능성과 신뢰성 향상에 크게 기여한다.
• 항공우주 및 원자력 공학에서 널리 사용되는 고장률 및 MTBF 지표는 AI 시스템에 의미 있게 적용되어 성능과 리스크를 정량화할 수 있다.
• 인간요구요구 요소는 부차적인 것이 아니라 고장 방지 및 복구의 핵심이며, HC-AIRM 모델을 통해 그 중요성이 입증된다.
• OpenAI의 시스템 상태 데이터를 활용한 실제 분석은 프레임워크가 AI 시스템의 건강 및 성능을 모니터링하고 관리하는 데 실용적 적용 가능성을 확인한다.
• 이 프레임워크는 지속적인 모니터링과 보험 적용 가능한 지표를 통해 리스크 인식 기반 의사결정을 지원하는 AI 투자 포트폴리오 기반 접근법을 가능하게 한다.
• 워터마킹 및 실패에 안전한 설계(예: 이케아 스타일의 구성 요소 설계)와 같은 사전 조치는 오용을 줄이고, 특히 악성 및 의도하지 않은 고장에 대한 복원성을 향상시킨다.

(b) Hypothetical 3D Matrix of Sectors (Tasks), Impacts, and Failure Modes