[논문 리뷰] A taxonomic system for failure cause analysis of open source AI incidents

Nikiforos Pittaras, Sean McGregor|arXiv (Cornell University)|2022. 11. 14.

Occupational Health and Safety Research인용 수 6

한 줄 요약

이 논문은 AI 사고 데이터베이스(AIID)에서 전문가가 주석 처리한 데이터를 바탕으로 개방형 AI 사고의 기술적 실패 원인을 분석하기 위해 목표(Goals), 방법/기술(Methods/Technologies), 실패 원인(Failure Causes)으로 구성된 삼단계 분류 체계(GMF)를 제안한다. 이 체계는 실제 AI 실패 사례에 대한 체계적이고 데이터 기반의 분석을 가능하게 하며, 초기 결과로 AIID의 12.4% 커버리지와 잠재적 주석의 51.32%가 확인되었다.

ABSTRACT

While certain industrial sectors (e.g., aviation) have a long history of mandatory incident reporting complete with analytical findings, the practice of artificial intelligence (AI) safety benefits from no such mandate and thus analyses must be performed on publicly known ``open source'' AI incidents. Although the exact causes of AI incidents are seldom known by outsiders, this work demonstrates how to apply expert knowledge on the population of incidents in the AI Incident Database (AIID) to infer the potential and likely technical causative factors that contribute to reported failures and harms. We present early work on a taxonomic system that covers a cascade of interrelated incident factors, from system goals (nearly always known) to methods / technologies (knowable in many cases) and technical failure causes (subject to expert analysis) of the implicated systems. We pair this ontology structure with a comprehensive classification workflow that leverages expert knowledge and community feedback, resulting in taxonomic annotations grounded by incident data and human expertise.

연구 동기 및 목표

• 실제 AI 사고의 기술적 실패 원인을 분석하기 위한 체계적이고 상호연결된 분류 체계를 개발하기 위해.
• 기존 AI 사고 보고 및 분류 체계에서의 체계적이고 기술적인 실패 분석의 부족을 해결하기 위해.
• 전문 지식을 활용하여 고수준의 사고 보고와 세부적인 기술적 실패 근본 원인 사이의 격차를 메우기 위해.
• 기술적 전문성을 바탕으로 한 공동체 기반의 확장 가능한 주석 처리 워크플로우를 구축하기 위해.
• 표준화된 사고 분류를 통해 향후 AI 안전성, 일치성, 위험 완화 분야의 데이터 기반 연구를 지원하기 위해.

제안 방법

• AI 시스템 목표, 방법/기술, 기술적 실패 원인으로 구성된 삼단계 온톨로지 개발 및 상호관계 설정.
• AI 사고 데이터베이스(AIID)의 대표적 샘플(~10%)에 대해 전문가 주석 처리(박사 수준의 머신러닝 및 AI 안전성 연구자)를 적용.
• 피드백 루프를 통한 반복적인 분류 체계 개발 과정을 통해 분류 체계를 정교화하고 확장.
• 자동 완성 및 추천 기능과 같은 자동화 기능을 포함한 커스텀 사용자 인터페이스를 설계하여 커뮤니티 기반 주석 처리를 지원.
• AIID 플랫폼에 분류 체계를 통합하여 사고 검색, 실패 모드 탐색, 시스템 배포 분석을 가능하게 한다.
• 사건 카테고리별 주석 진행 상황, 커버리지, 완전성 등을 모니터링하기 위한 통계적 추적 기능 구현.

실험 결과

연구 질문

• RQ1 개방형 AI 사고의 기술적 실패 원인은 어떻게 체계적으로 분류하고, 이를 시스템 목표 및 구현 방법과 연결할 수 있는가?
• RQ2 전문 지식과 커뮤니티 피드백은 실제 AI 사고의 실패 원인 주석의 정확성과 완전성에 얼마나 기여하는가?
• RQ3 목표, 방법, 실패 원인으로 구성된 다단계 분류 체계를 다양한 대규모 AI 사고 보고서에 적용하는 데 있어 타당성과 확장 가능성은 어떠한가?
• RQ4 표준화된, 데이터 기반의 분류 체계는 향후 AI 안전성, 일치성, 위험 완화 분야의 연구를 어떻게 지원할 수 있는가?
• RQ5 커뮤니티 기반 주석 처리 및 도구는 AI 사고 데이터의 정제 및 활용도를 향상시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• GMF 분류 체계는 AIID의 41宗의 사고에 적용되어 데이터베이스의 12.40% 커버리지를 달성했다.
• 모든 잠재적 주석 중 51.32%는 아직 할당되지 않아 향후 확장 및 주석 처리에 큰 여지가 있음을 시사한다.
• 평균적으로 각 사고는 1.20개의 목표, 2.43개의 방법/기술, 3.78개의 기술적 실패 원인을 포함한다.
• 초기 주석 단계에서 알려진 주석 완전성은 48.68%를 기록하여 핵심 사고 구성 요소를 주석 처리하는 데 진전이 있음을 보여준다.
• 향후 버전에서 윤리, 철학, 인적 요인 등의 추가적 시각을 포함하도록 분류 체계가 확장되고 있다.
• 확장 가능하고 자동화된, 공동체 기반의 AI 사고 주석 처리를 지원하기 위한 전용 사용자 인터페이스 개발 중이다.