[논문 리뷰] AI Failures: A Review of Underlying Issues

Debarag Narayan Banerjee, Sasanka Sekhar Chanda|arXiv (Cornell University)|2020. 07. 18.

Law, Economics, and Judicial Systems참고 문헌 2인용 수 7

한 줄 요약

이 논문은 개인정보 거래, 적대적 공격과 같은 넓은 안전성 문제보다는 개념화, 설계, 구현 단계의 결함에 초점을 맞춰 AI 시스템 실패의 근본 원인을 조사한다. 개선되지 않은 입력 해석, 하드웨어 제약, 윤리적 판단을 내릴 수 없는 본질적 한계 등 핵심 실패 원인을 특정하고, 이러한 문제를 완화하기 위한 구체적 권고 사항을 제시한다.

ABSTRACT

Instances of Artificial Intelligence (AI) systems failing to deliver consistent, satisfactory performance are legion. We investigate why AI failures occur. We address only a narrow subset of the broader field of AI Safety. We focus on AI failures on account of flaws in conceptualization, design and deployment. Other AI Safety issues like trade-offs between privacy and security or convenience, bad actors hacking into AI systems to create mayhem or bad actors deploying AI for purposes harmful to humanity and are out of scope of our discussion. We find that AI systems fail on account of omission and commission errors in the design of the AI system, as well as upon failure to develop an appropriate interpretation of input information. Moreover, even when there is no significant flaw in the AI software, an AI system may fail because the hardware is incapable of robust performance across environments. Finally an AI system is quite likely to fail in situations where, in effect, it is called upon to deliver moral judgments -- a capability AI does not possess. We observe certain trade-offs in measures to mitigate a subset of AI failures and provide some recommendations.

연구 동기 및 목표

• 고위험 안전 문제를 넘어서 AI 시스템 실패의 근본 원인을 분석하는 것.
• 특히 AI 시스템의 개념화, 설계, 구현 단계의 결함에 집중하는 것.
• 기본 기능 누락 또는 오류 실행, 부적절한 입력 해석, 하드웨어 제약 등 실패 유형을 특정하는 것.
• AI가 윤리적 판단을 진정으로 수행할 수 없어 비극적 실패가 발생하는 이유를 분석하는 것.
• 설계 및 구현 개선을 통해 일부 AI 실패를 완화하기 위한 실천 가능한 권고 사항을 제공하는 것.

제안 방법

• 개념적, 설계적, 구현 수준의 문제에 중점을 둔 문서화된 AI 실패 사례에 대한 체계적 검토.
• 실패 유형을 기능 누락 오류(의도된 동작 누락), 기능 오류(잘못된 동작), 입력 오해로 분류.
• 다양한 환경에서 일관되지 않은 AI 성능을 유발하는 하드웨어 제약 분석.
• AI가 윤리적 판단을 수행할 수 없으며, 이를 요청받더라도 진정된 윤리적 추론 능력을 갖추지 못함을 검토.
• 완화 전략에서의 트레이드오프 분석, 예를 들어 신뢰성 향상과 계산 비용 증가 간의 상충관계.
• 실패 유형 분류 및 트레이드오프 분석 기반으로 권고 사항 개발.

실험 결과

연구 질문

• RQ1 실제 구현에서 AI 시스템 실패의 주요 원인은 무엇인가?
• RQ2 AI 설계에서 발생하는 기능 누락 및 오류는 시스템 실패에 어떻게 기여하는가?
• RQ3 하드웨어 제약은 어떻게 다양한 환경에서 일관되지 않은 AI 성능을 초래하는가?
• RQ4 AI가 윤리적 판단을 내릴 수 없는 것이 비극적 실패의 핵심 원인인 이유는 무엇인가?
• RQ5 AI 실패 완화 전략을 구현할 때 존재하는 트레이드오프는 무엇인가?

주요 결과

• AI 실패의 주요 원인은 알고리즘 복잡성 외에도 개념적 및 설계적 결함, 특히 기능 누락 및 오류 실행에 기인한다.
• 입력 데이터 해석이 부적절할 경우, 소프트웨어 논리가 정확하더라도 시스템 장애가 발생하는 주요 원인이 된다.
• 하드웨어 제약은 다양한 운영 환경에서 AI 시스템이 견고한 성능을 유지를 못하게 하는 데 자주 기여한다.
• AI 시스템은 윤리적 판단이 요구될 경우 치명적인 실패를 겪으며, 이는 진정된 윤리적 추론 능력이 결여되어 있기 때문이다.
• 완화 전략은 계산 비용 증가로 신뢰성 향상을 확보하는 등 트레이드오프를 수반하며, 이를 신중히 평가해야 한다.
• 논문은 AI 시스템 설계 및 구현의 개선을 통해 실패 위험을 줄이기 위한 실천 가능한 권고 사항으로 마무리한다.