[논문 리뷰] Preventing Repeated Real World AI Failures by Cataloging Incidents: The AI Incident Database

Sean McGregor|arXiv (Cornell University)|2020. 11. 17.

Occupational Health and Safety Research인용 수 10

한 줄 요약

이 논문은 다양한 출처에서 유래한 1,000건 이상의 실제 AI 사고 보고서를 체계화하고 검색 가능하며 확장 가능한 저장소로 정리한 AI 사고 데이터베이스(AIID)를 제안한다. 이는 AI 구현 시 반복적인 실패를 방지하고 과거의 피해를 통해 학습할 수 있도록 전문가들이 활용할 수 있도록 설계되어 있다. faceted 검색 및 전체 텍스트 검색, 버전 관리된 사고 식별자, 커뮤니티 기반의 분류 체계를 통해 AI의 공정성, 안전성, 기술적 신뢰성 분야에서 연구, 개발, 대응을 지원한다.

ABSTRACT

Mature industrial sectors (e.g., aviation) collect their real world failures in incident databases to inform safety improvements. Intelligent systems currently cause real world harms without a collective memory of their failings. As a result, companies repeatedly make the same mistakes in the design, development, and deployment of intelligent systems. A collection of intelligent system failures experienced in the real world (i.e., incidents) is needed to ensure intelligent systems benefit people and society. The AI Incident Database is an incident collection initiated by an industrial/non-profit cooperative to enable AI incident avoidance and mitigation. The database supports a variety of research and development use cases with faceted and full text search on more than 1,000 incident reports archived to date.

연구 동기 및 목표

• 항공 또는 사이버보안 사고 데이터베이스처럼 산업 및 연구 분야에서 AI 실패에 대한 집단적 기억의 부재를 해결하기 위해.
• 중앙집중식이며 확장 가능하며 커뮤니티가 유지 관리하는 사고 저장소를 구축함으로써 결함이 있는 AI 시스템의 반복적 배포를 줄이기 위해.
• 엔지니어, 연구자, 법률 전문가, 정책 입안자 등 다양한 이해관계자가 구조화된 메타데이터와 faceted 검색을 통해 과거의 실패 사례를 탐색할 수 있도록 지원하기 위해.
• 독립된 조직들이 공통의 상호운용 가능한 프레임워크 내에서 자체 분류 체계를 정의하고 유지 관리할 수 있도록 하여 다분야 협업을 촉진하기 위해.
• 일시적인 사고 목록을 AI 안전성 및 책임성 분야에서의 확장 가능하고 생산 수준의 연구 및 개발 인프라로 전환하기 위해.

제안 방법

• AIID는 뉴스, 전문 간행물, 학술 자료에서 유래한 사고 보고서를 취합하며, 각 사고에 고유하고 지속 가능한 ID를 할당하고, 하나의 사고 기록에 여러 보고서를 연결한다.
• 각 사고는 소스, 게시 일자, 제보자, 사고 일자 등의 객관적 메타데이터로 색인 처리되며, 구조화된 필드를 기반으로 한 전체 텍스트 검색 및 faceted 검색을 지원한다.
• 이 시스템은 네임스페이스 기반의 분류 체계 모델을 사용하여, 비영리 단체, 컨ult처 등 다양한 조직이 자체 분류 체계(예: '공정성', '산업 분야')를 정의하고 관리할 수 있도록 하며, 통합 온톨로지가 필요하지 않다.
• GitHub 기반 워크플로우를 통해 동적 애플리케이션 생성을 지원한다: 코드 커밋이 발생하면 Netlify에서 자동으로 빌드가 실행되며, 이는 데이터베이스를 쿼리하여 정적 미리 渲染된 웹 애플리케이션(예: 'FairnessExplorer')을 생성한다.
• 정적 사이트 생성을 통해 데이터 시각화 및 요약 정보에 대한 저지연, 확장성 있고 비용 효율적인 액세스를 보장하며, 각 빌드 주기 동안 데이터베이스에 동기화된다.
• 아키텍처는 상호운용성을 보장한다: 한 애플리케이션(예: 공정성 중심)의 분류 체계는 다른 애플리케이션(예: 산업 중심)에서 필터링 및 활용 가능하여, 데이터 중복 없이 다분야 분석이 가능하다.

실험 결과

연구 질문

• RQ1 중앙집중식이며 커뮤니티가 유지 관리하는 사고 데이터베이스는 안전성에 민감하거나 사회적 영향을 미치는 분야에서 실제 AI 실패의 재발을 어떻게 줄일 수 있는가?
• RQ2 다양한 AI 응용 분야와 이해관계자 관점에서 확장 가능하고 상호운용 가능한 사고 추적을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 faceted 검색 및 전체 텍스트 검색을 갖춘 공통의 사고 저장소는 GitHub나 Google Docs의 일시적인 목록에 비해 과거의 AI 실패 사례에서의 탐색과 학습을 얼마나 향상시킬 수 있는가?
• RQ4 단일의 통합 온톨로지가 아닌, 공동의 데이터 인프라에 커뮤니티 기반의 분류 체계를 어떻게 통합할 수 있는가?
• RQ5 AI 실패 데이터의 장기적이고 지속 가능한 유지 보수를 위한 기술적 및 조직적 모델은 무엇인가? 이는 AI 연구 및 개발 공동체의 공공재로 기능할 수 있도록 한다.

주요 결과

• AI 사고 데이터베이스는 현재 1,000건 이상의 사고 보고서를 호스팅하고 있으며, 100건 이상의 사고에 고유한 식별자가 할당되고 여러 출처의 보고서와 연결되어 있다.
• 이 시스템은 인용 가능하고 지속 가능한 사고 기록을 제공한다. 예를 들어, 항공기 737 MAX 8 추락 사고에 관한 18건의 보고서를 집계한 사고 #3는 다각도 분석을 가능하게 한다.
• 정적 사이트 생성과 자동화된 빌드를 통해 저지연, 확장 가능한 데이터 시각화 및 요약 정보에 대한 액세스를 보장하며, 호스팅 비용을 줄이고 성능을 향상시킨다.
• 네임스페이스 기반의 분류 체계 모델은 독립된 조직이 도메인 특화 분류(예: 공정성, 기술적 고장)를 정의하고 유지 관리할 수 있도록 하며, 다양한 애플리케이션 간에 필터링이 가능하다.
• 이 아키텍처는 '빅 포스트' 회계사 사무소, 법률 회사, 컨설팅 기업, 학술 기관 등 주요 이해관계자들로부터 관심을 끌었으며, 초기 도입 잠재력이 높음을 시사한다.
• 시스템의 설계는 시간 기반의 시각화를 통해 기술, 응용 분야 또는 영향을 받은 인구 집단별 사고 추세 분석을 가능하게 하며, 각 데이터베이스 동기화 시점에 업데이트되는 사전 렌더링된 정적 페이지를 사용한다.