[논문 리뷰] Concrete Problems in AI Safety, Revisited

Inioluwa Deborah Raji, Roel Dobbe|arXiv (Cornell University)|2023. 12. 18.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 실세계의 인공지능 실패 사례—자율주행 차량의 사망 사고와 IBM 워즈턴의 임상 적용 실패 등을 분석함으로써, 초기의 '인공지능 안전성 문제의 구체적 사례' 분류 체계를 재검토한다. 기존의 인공지능 안전성 프레임워크가 사회기술적 실패를 충분히 다루지 못하고 있음을 주장하며, 기술적 일치를 넘어서 공학적 실천, 인도적 검증, 이해관계자 참여를 강조하는 더 넓고 실세계 기반의 프레임워크를 제안한다.

ABSTRACT

As AI systems proliferate in society, the AI community is increasingly preoccupied with the concept of AI Safety, namely the prevention of failures due to accidents that arise from an unanticipated departure of a system's behavior from designer intent in AI deployment. We demonstrate through an analysis of real world cases of such incidents that although current vocabulary captures a range of the encountered issues of AI deployment, an expanded socio-technical framing will be required for a more complete understanding of how AI systems and implemented safety mechanisms fail and succeed in real life.

연구 동기 및 목표

• 기존의 인공지능 안전성 분류 체계가 이론적 또는 기술적 결함이 아닌 실세계 시스템 실패를 얼마나 잘 반영하고 있는지 평가하기.
• 현재의 안전 프레임워크가 충분히 다루지 못하는 인공지능 배포 과정에서의 체계적 사회기술적 실패를 특정하기.
• 기술적 일치를 넘어서 공학적 실천, 이해관계자 역학, 인도적 검증을 포함하는 더 넓고 경험 기반의 인공지능 안전 접근 방식을 주장하기.
• 사례 연구를 통해 안전 실패가 알고리즘 결함보다는 조직 문화와 구현 격차에 기인하는 경향이 있음을 입증하기.

제안 방법

• 자율주행 차량과 헬스케어 인공지능에서의 실세계 사례 연구를 활용해 Amodei 등(2016)의 '구체적 인공지능 안전 문제' 분류 체계를 재분석한다.
• Uber와 테슬라의 사망 사고, IBM 워즈턴의 임상 적용 실패와 같은 특정 사고를 분석하여, 기술적 설계를 넘어서는 근본 원인을 진단한다.
• 사회기술적 시각을 적용하여 실패를 조직 문화, 감독 소홀, 이해관계자 간 불일치 등 체계적 원인으로 진단한다.
• 기록된 NTSB 보고서와 공개 자료를 바탕으로 인도적 추론을 활용해 실배포 환경에서의 안전 문제를 검증한다.
• 공학적 실천 오류와 이해관계자 협력 부족과 같은 실패의 공통된 주제를 식별하여 개선된 안전 프레임워크를 도출한다.
• 안전 메커니즘은 이론적 또는 추상적 모델이 아닌 실세계 사례 연구를 통해 검증되어야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 현재의 인공지능 안전성 분류 체계는 기술적 결함이 아닌 사회기술적 요인과 조직적 요인에 기인한 실세계 실패를 어느 정도 반영하고 있는가?
• RQ2 이론적으로 안전 메커니즘이 존재하더라도, 공학 및 구현 실천 방식은 어떻게 인공지능 안전 실패에 기여하는가?
• RQ3 이해관계자 상호작용과 권력 구조는 실무에서 인공지능 안전 메커니즘의 성공 또는 실패에 어떤 방식으로 영향을 미치는가?
• RQ4 이론적으로 의료 지침과 일치하는 인공지능 시스템인 IBM 워즈턴 헬스케어가 실세계 임상 환경에서 왜 실패하는가?
• RQ5 프록시 데이터, 합성 학습, 새로운 임상 증거에 대한 지연된 적응 등의 제약를 고려할 때, 안전 프레임워크는 어떻게 개선될 수 있는가?

주요 결과

• 2018년 유버의 자율주행 차량 사망 사고는 기술적 안전 기능의 부재 때문이 아니라, 기존 감독 메커니즘이 빈번히 忽视된 조직 문화의 실패 때문이었다.
• 2016년 테슬라 오토파ilot 사고는 하얀 트랙터트레일러를 하늘빛 배경에서 인식하지 못한 데 기인했지만, 근본 원인은 체계적이었으며, 알려진 위험에도 불구하고 비상 브레이킹 및 경고 기능이 작동하지 않았다.
• IBM 워즈턴 온콜로지 시스템은 2018년 조직적 암 치료의 돌풍과 같은 새로운 의료 증거에 적응하지 못했으며, 이는 정적 지침에 기반한 학습 때문이었다.
• 환자 55명(중 4명은 폐암 환자)의 데이터만을 반영한 결과, 시스템의 권고는 임상적으로 무의미해졌고, 의료진의 수용 없이 결국 정지되었다.
• 인공지능의 안전 실패는 종종 알고리즘 오류 때문이 아니라, 조기 배포, 부적절한 검증, 이해관계자 간 협력 부족 등의 공학적 실천 오류 때문이었다.
• 가장 성공적인 워즈턴 응용 사례인 IBM 제너믹스는 구조화된 환자 중심 유전체 데이터를 기반으로 운영되어 성공했으며, 이는 머신러닝이 잘 정의되고 일관된 데이터에는 더 유망하지만, 복잡하고 비정형적인 임상 의사결정에는 어려움이 있음을 시사한다.