[논문 리뷰] Arguing Machines: Human Supervision of Black Box AI Systems That Make Life-Critical Decisions

Lex Fridman, Li Ding외 2명|arXiv (Cornell University)|2017. 10. 12.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 주요 블랙박스 AI 시스템과 별도로 독립적으로 훈련된 두 번째 AI 시스템을 결합하여 고위험 결정을 시사하는 불일치를 탐지하는 '의논하는 기계들'(arguing machines) 프레임워크를 제안한다. 불일치가 임계값을 초과할 경우 인간의 감시가 개시되며, 이는 오류율을 감소시킨다. ImageNet에서 상위 5개 오류율을 65% 감소시키고, 테슬라 오토파ilot 데이터에서 과도한 탈거 상황의 90.4%를 예측한다.

ABSTRACT

We consider the paradigm of a black box AI system that makes life-critical decisions. We propose an "arguing machines" framework that pairs the primary AI system with a secondary one that is independently trained to perform the same task. We show that disagreement between the two systems, without any knowledge of underlying system design or operation, is sufficient to arbitrarily improve the accuracy of the overall decision pipeline given human supervision over disagreements. We demonstrate this system in two applications: (1) an illustrative example of image classification and (2) on large-scale real-world semi-autonomous driving data. For the first application, we apply this framework to image classification achieving a reduction from 8.0% to 2.8% top-5 error on ImageNet. For the second application, we apply this framework to Tesla Autopilot and demonstrate the ability to predict 90.4% of system disengagements that were labeled by human annotators as challenging and needing human supervision.

연구 동기 및 목표

• 오류 여유가 매우 작은 생명을 위협하는 응용 분야에 블랙박스 AI 시스템을 도입하는 데 도전하는 것.
• 주요 AI 시스템의 내부 아키텍처나 훈련 데이터에 접근하지 않고도 시스템 오류를 감소시키는 것.
• 두 개의 독립적으로 훈련된 AI 시스템 간의 불일치를 인간 개입 신호로 사용하는 인간-중심 프레임워크를 개발하는 것.
• 고위험 결정 결과를 초래하는 실제 반자율 주행 환경에서 프레임워크를 검증하는 것.
• 투명한 시스템 간의 불일치가 인간 감시가 필요한 엣지 케이스를 신뢰성 있게 시사할 수 있음을 입증하는 것.

제안 방법

• 주요 블랙박스 시스템과 동일한 작업을 수행하는 제2의 AI 시스템을 데이터나 아키텍처 세부 정보를 공유하지 않고 독립적으로 훈련한다.
• 1초 간격의 연속 예측에 대해 정규화된 차이 함수를 사용해 두 시스템의 출력 간 불일치를 측정한다.
• 불일치가 이 수준을 초과할 경우 인간 감시를 개시하기 위해 사전 정의된 임계값 δ를 설정한다.
• 탈거 이벤트에 대해 이분류 평가 지표인 오류 수용률(FAR)과 오류 거부률(FRR)을 사용해 불일치 탐지 시스템을 평가한다.
• Jetson TX2를 사용해 실시간으로 테슬라 모델 S에 배포하며, 실시간 영상 입력, 신경망 추론, 실시간으로 불일치 경고를 표시하는 GUI를 구현한다.
• 두 시스템의 조향 예측값을 [−1,1] 범위로 정규화하고, 30 프레임(1초) 동안 누적 불일치를 계산해 엣지 케이스를 탐지한다.

실험 결과

연구 질문

• RQ1 독립적으로 훈련된 두 개의 AI 시스템 간의 불일치가 생명을 위협하는 고위험 결정을 식별하는 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 이 불일치 기반 감시 메커니즘이 주요 AI 시스템의 내부 구조에 접근하지 않고도 전체 시스템 오류를 감소시킬 수 있는가?
• RQ3 실제 반자율 주행 환경에서 불일치 탐지 기술이 과도한 탈거 상황을 어느 정도 예측할 수 있는가?
• RQ4 불일치의 임계값 δ가 인간 감시 빈도와 시스템 오류율 간의 상호 보완적 관계에 어떻게 영향을 미치는가?
• RQ5 이 프레임워크는 저지연성과 높은 신뢰성을 확보한 실시간 도로 환경에 효과적으로 구현될 수 있는가?

주요 결과

• 의논하는 기계들 프레임워크는 ResNet-50 모델에 적용했을 때 ImageNet의 상위 5개 오류율을 8.0%에서 2.8%로 감소시켜 상대적 개선률 65%를 달성했다.
• 시스템은 테슬라 오토파일럿 데이터에서 인간 애너테이터가 '도전적' 또는 인간 감시가 필요하다고 평가한 탈거 이벤트의 90.4%를 정확하게 예측했다.
• 최적의 불일치 임계값 δ = 10은 오류 수용률과 오류 거부률을 효과적으로 균형 잡은 평균 오류율 0.096을 달성했다.
• 실시간 도로 주행 배포에서는 카메라 입력에서 GUI 업데이트까지 200ms 미만의 지연을 기록해 동적 주행 조건에서의 구현 가능성을 입증했다.
• 저녁 정체 시간 테스트 기간 동안 여러 도전적인 주행 상황을 성공적으로 탐지했으며, 시각적 경고는 운전사의 각성을 향상시켰다.
• 모델 내부 정보를 알지 못하더라도 불일치 신호 자체만으로도 시스템의 안전성과 성능을 크게 향상시킬 수 있었다.