[논문 리뷰] Indexing AI Risks with Incidents, Issues, and Variants

Sean McGregor, Kevin Paeth외 1명|arXiv (Cornell University)|2022. 11. 18.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 인공지능 위험에 대한 이중 체계 인덱싱 시스템을 제안한다. '사건'(실현된 피해 또는 잠재적 피해)과 '문제'(아직 실현되지 않은 잠재적 피해)로 나누며, 반복적인 사건을 관리하기 위해 '변형'을 도입한다. 이 접근법은 확장성 향상, 정책 준수 지원, 글로벌 데이터베이스 간 상호운용성 및 인용 가능한 사건 추적을 가능하게 한다.

ABSTRACT

Two years after publicly launching the AI Incident Database (AIID) as a collection of harms or near harms produced by AI in the world, a backlog of "issues" that do not meet its incident ingestion criteria have accumulated in its review queue. Despite not passing the database's current criteria for incidents, these issues advance human understanding of where AI presents the potential for harm. Similar to databases in aviation and computer security, the AIID proposes to adopt a two-tiered system for indexing AI incidents (i.e., a harm or near harm event) and issues (i.e., a risk of a harm event). Further, as some machine learning-based systems will sometimes produce a large number of incidents, the notion of an incident "variant" is introduced. These proposed changes mark the transition of the AIID to a new version in response to lessons learned from editing 2,000+ incident reports and additional reports that fall under the new category of "issue."

연구 동기 및 목표

• 엄격한 사건 기준을 충족하지 못하는 AI 피해 보고가 늘어나고 있음에도 불구하고, 그로 인해 심각한 위험이 드러나는 바를 다루기 위해.
• 보고 수가 증가하고 데이터가 불완전해지는 상황에서 AI 사건 데이터베이스의 확장성과 지속 가능성 향상을 위해.
• 실현된 사건과 잠재적 위험을 구분할 수 있는 탄력적인 보고 계층을 제공함으로써 정책 개발을 지원하기 위해.
• 유사한 원인과 영향을 가진 사건들을 그룹화하기 위해 '변형'을 도입함으로써 편집 부담을 줄이기 위해.
• 표준화된 이름공간을 가진 식별자를 통해 국가 및 조직 차원의 AI 사건 데이터베이스 간 상호운용성을 확보하기 위해.

제안 방법

• 이중 분류 체계 도입: 'AI 사건'(AI 시스템과 관련된 주장된 피해 또는 잠재적 피해)과 'AI 문제'(아직 실현되지 않은 잠재적 피해).
• AI 사건 변형'을 실현된 사건과 동일한 원인 요인, 피해 유형, 시스템을 공유하는 사건으로 정의하여 중복 인덱싱을 줄인다.
• 새로운 사건 식별자 형식 제안: NAMESPACE:INCIDENT#.VARIANT#로, 이는 기존 호환성과 향후 다중 데이터베이스 연동을 보장한다.
• 항공 안전 및 사이버보안 모델(예: CVE)의 영감을 받아, 사건과 위험을 명확히 구분한다.
• 실제 사례(예:巴勒斯坦 점검소에서의 얼굴 인식 기술 사용)를 통해 문제 분류와 변형 처리의 필요성을 설명한다.
• 자율적 및 의무적 보고 체계를 지원하도록 설계하며, 문제 계층을 통해 조기 공개에 대한 유인 조건을 제공한다.

실험 결과

연구 질문

• RQ1 AI 사건 데이터베이스는 실현되지 않았지만 심각한 위험을 내포한 잠재적 피해를 효과적으로 포착하고 분류할 수 있는가?
• RQ2 편집 능력에 부담을 주지 않으면서도 사건 보고의 확장성을 확보하기 위해 어떤 구조적 변화가 필요한가?
• RQ3 사건 변형은 어떻게 의미 있게 그룹화하고 식별할 수 있는가? 이는 중복을 줄이면서도 추적 가능성을 유지해야 한다.
• RQ4 이중 체계(사건 대비 문제)는 규제 준수와 정책 개발을 뒷받침하는 데 어떤 역할을 할 수 있는가?
• RQ5 사건 식별자는 어떻게 확장되어 연간, 국가 또는 조직 차원의 데이터베이스 간 상호운용성을 지원할 수 있는가?

주요 결과

• AIID는 300건 이상의 사건과 2,000건 이상의 사건 보고를 인덱싱하여, 현재의 사건 기준을 충족하지 못하나 실제 위험을 시사하는 보고의 누적 증가를 확인했다.
• '문제' 도입으로 인해, 실질적 오식별이 입증되지 않은 상태에서도 얼굴 인식 시스템에 의한 감시와 같은 심각한 잠재적 피해를 유지하고 추적할 수 있게 되었다.
• 동일한 얼굴 인식 시스템에서 반복적으로 발생하는 오식별 사례와 같은 사건 변형은 동일한 사건에 변형 식별자를 부여함으로써 하나의 사건으로 통합되어 편집 부담이 감소한다.
• 제안된 NAMESPACE:INCIDENT#.VARIANT# 식별자 형식은 기존 호환성을 유지하며, 향후 다국적 또는 다기관 데이터베이스 간 연동을 지원한다.
• 이중 체계는 규제 준수를 위한 실질적인 길을 제공하며, 문제 조기 보고에 대한 인센티브(예: 벌금 면제)를 제공한다.
• 이 프레임워크는 상호운용성과 확장성을 고려해 설계되었으며, OECD에서 개발 중인 국제 기준과도 정렬 가능하고 글로벌 도입을 지원한다.