[논문 리뷰] Estimating the Brittleness of AI: Safety Integrity Levels and the Need for Testing Out-Of-Distribution Performance

Andrew J. Lohn|arXiv (Cornell University)|2020. 09. 01.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 인공지능 시스템, 특히 딥 뉴럴 네트워크가 항공, 원자력, 자동차 산업의 안전 중심 시스템보다 훨씬 더 취약하다고 주장하며, 정의된 분포 내에서도 실패율이 수개월 수준으로 훨씬 높다는 점을 밝힌다. 이는 분포 외부(OOD) 성능을 위한 안전성 통합 수준(SILs)을 통합하고, 분포 내 테스트를 넘어서 체계적인 AI 내구성 평가를 통해 고위험 응용 분야에서의 인증을 가능하게 하자고 제안한다.

ABSTRACT

Test, Evaluation, Verification, and Validation (TEVV) for Artificial Intelligence (AI) is a challenge that threatens to limit the economic and societal rewards that AI researchers have devoted themselves to producing. A central task of TEVV for AI is estimating brittleness, where brittleness implies that the system functions well within some bounds and poorly outside of those bounds. This paper argues that neither of those criteria are certain of Deep Neural Networks. First, highly touted AI successes (eg. image classification and speech recognition) are orders of magnitude more failure-prone than are typically certified in critical systems even within design bounds (perfectly in-distribution sampling). Second, performance falls off only gradually as inputs become further Out-Of-Distribution (OOD). Enhanced emphasis is needed on designing systems that are resilient despite failure-prone AI components as well as on evaluating and improving OOD performance in order to get AI to where it can clear the challenging hurdles of TEVV and certification.

연구 동기 및 목표

• 항공, 원자력 에너지, 자동차 제어와 같은 핵심 시스템에서 요구하는 엄격한 안전 기준과 현재 AI의 신뢰성 간 격차를 규명하는 것.
• 최첨단 AI 모델(예: 이미지 분류, 음성 인식)의 분포 내 성능조차도 항공기나 원자력 발전소와 같은 안전 중심 분야의 인증 소프트웨어보다 수개월 수준으로 낮은 신뢰성임을 입증하는 것.
• AI 시스템이 OOD 조건에서 급격히 실패하기보다는 점진적으로 열화된다는 점을 주장하며, 날카로운 실패 경계 가정에 도전하는 것.
• 분포 외부 성능 기반으로 AI 구성 요소에 안전성 통합 수준(SILs)을 할당하는 프레임워크를 제안하는 것. 이는 분포 이격도의 정성적 및 정량적 측정 기준 포함.
• 고위험 응용 분야에 대한 인증과 배포를 지원하기 위해 체계적인 OOD 테스트 및 성능 평가의 필요성을 강조하는 것.

제안 방법

• 항공기나 원자력 발전소와 같은 안전 중심 시스템에서의 기존 신뢰성 기준과 최고 성능 AI 모델의 실패율을 비교하는 것.
• Word Error Rate(WER)와 분류 정확도와 같은 정량적 지표를 사용해 분포 내 및 점점 더 분포 외부로 이격된 데이터 분포에서의 모델 성능 평가.
• 분포 이격 평가를 위해 정성적 OOD 심각도 수준—분포 내, 근접 분포, 다소 OOD, 원거리 OOD, 매우 먼 OOD—을 도입하여 분포 이격를 분류.
• 통계적 거리(예: 쿨백-라이블러 발산, 마할라노비스 거리)를 사용해 분포 이격 정도를 정량화하되, 정성적 평가가 더 실용적일 수 있음을 인정.
• 자동차 ASIL에서 사용되는 전통적 SIL 프레임워크를 확장하여 OOD 성능 요구사항을 포함시키며, 실패율을 OOD 노출의 빈도와 심각도와 연결.
• 실제 및 인위적으로 생성된 OOD 샘플을 사용해 분포 이격 상황에서의 모델 내구성 실측 추정을 권장하는 것.

실험 결과

연구 질문

• RQ1 최첨단 AI 모델의 실패율은 분포 내 조건에서조차도 안전 중심 시스템에서 요구하는 신뢰성 기준보다 얼마나 높은가?
• RQ2 점점 더 분포 외부로 이격된 입력에 노출되었을 때 AI 성능이 급격히 떨어지지 않고 점진적으로 열화되는 정도는 어느 정도인가?
• RQ3 정성적 또는 개념적 OOD 심각도 수준(예: 근접 분포, 원거리 OOD)을 의미 있는 방식으로 AI 구성 요소의 안전성 통합 수준 정의에 활용할 수 있는가?
• RQ4 실제 운영 환경에서 OOD 입력의 빈도와 심각도를 추정하는 데 가장 효과적인 지표와 방법은 무엇인가?
• RQ5 기존 인증 프레임워크는 어떻게 개선되어야 하며, 핵심 응용 분야에서 AI 시스템의 OOD 성능 평가를 통합할 수 있는가?

주요 결과

• 딥 스피치 2와 이미지 분류기와 같은 최첨단 AI 모델은 정의된 분포 내 테스트에서도 안전 중심 시스템에서 허용되는 실패율보다 수개월 수준으로 높은 실패율을 보였다.
• 가장 분포 내 테스트 세트에서 딥 스피치 2는 WER가 10% 미만을 기록했지만, 이는 항공기나 원자력 발전소 소프트웨어에서 일반적인 0.1% 이하의 실패 기준에 비해 여전히 현저히 높은 수준이다.
• 외부 분포 입력(예: 외국어 발음, 노이즈 있는 오디오, 왜곡된 이미지)에서의 성능 저하는 점진적이며 인간 수준의 성능과 유사한 정도로, 급격한 실패가 아니었다.
• 중요한 OOD 분포(예: 강한 외국어 발음, 고노이즈)에서 인간은 AI를 능가했으며, 이는 AI가 분포 이격에 대해 인간보다 더 취약하다는 것을 시사한다.
• 연구 결과, OOD 성능 저하가 부드럽고 예측 가능한 감소를 보이며, AI 시스템이 훈련 분포를 초월해 부분적으로도 기능을 유지할 수 있음을 나타냈다.
• 저자들은 OOD 성능을 체계적으로 평가할 필요성과, OOD 내구성 요건을 포함한 새로운 SIL 프레임워크가 핵심 시스템에서의 AI 인증을 위해 필수적이라고 결론 내렸다.