[논문 리뷰] Uncertainty Aware AI ML: Why and How

Lance Kaplan, Federico Cerutti외 3명|arXiv (Cornell University)|2018. 09. 20.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 17

한 줄 요약

이 논문은 주관적 베이지안 네트워크와 증거 신경망을 통합하여 예측의 불확실성을 정량화하고 의사소통할 수 있는 불확실성 인식 AI/ML 시스템을 제안한다. 이는 군사적 경로 계획과 같은 고위험, 데이터가 부족한 상황에서 인간 의사결정자가 위험을 평가하고 적절히 대응할 수 있도록 한다. 주요 기여는 희귀 사건이나 분포 외 입력으로 인한 저신뢰도 추론를 식별하여 인간 전문가가 필요에 따라 개입할 수 있도록 하는 프레임워크를 제공한다는 점이다.

ABSTRACT

This paper argues the need for research to realize uncertainty-aware artificial intelligence and machine learning (AI\&ML) systems for decision support by describing a number of motivating scenarios. Furthermore, the paper defines uncertainty-awareness and lays out the challenges along with surveying some promising research directions. A theoretical demonstration illustrates how two emerging uncertainty-aware ML and AI technologies could be integrated and be of value for a route planning operation.

연구 동기 및 목표

• 시험 데이터가 훈련 데이터와 크게 다를 경우 예측의 불확실성을 평가하고 통신할 수 있는 AI/ML 시스템이 필요하다는 비판적인 요구를 해결하기 위해.
• 신경망과 같은 저수준 ML과 확률적 추론과 같은 고수준 AI가 모두 불확실성 인식 기능을 갖춘 계층적 AI&ML 아키텍처를 개발하기 위해.
• 데이터 부족이나 분포 외 입력과 같은 불확실성 원인을 설명함으로써 인간 의사결정자가 AI 출력을 신뢰할 수 있도록 하기 위해.
• 실제 상황(예: 동적이고 불확실한 조건 하에서의 경로 계획)에서 불확실성 인식 시스템의 가치를 입증하기 위해.
• 기술적 과제와 유망한 연구 방향을 규명하여 향후 불확실성 인식 AI 분야의 연구 기반을 마련하기 위해.

제안 방법

• 고수준 AI 계층에 주관적 베이지안 네트워크를 통합하여, 불확실한 조건부 확률을 사용해 잠재 변수에 대한 주관적 의견(불확실한 확률)을 추론한다.
• 신경망을 훈련하여 점 추정치가 아닌 해석 가능한 주관적 의견(신뢰도, 타당성, 기저 빈도)을 출력함으로써 불확실성 정량화를 가능하게 한다.
• 신경망의 출력을 주관적 베이지안 네트워크의 증거로 사용하여 결정 모델 전반에 걸쳐 불확실성을 전파한다.
• 희귀 사건(예: 모델이 잘못 분류한 동기화된 의식 행사)이나 희소한 훈련 데이터로 인해 불확실성이 발생하는 경로 계획 시나리오에 통합 시스템을 적용한다.
• 모델 신뢰도가 낮을 경우 명시적인 경고를 통해 인간 운영자에게 불확실성을 통보한다. 특히 희귀하거나 모호한 입력일 경우에 유의미하다.
• 인간이 개입하여 불확실성을 해결한다. 예를 들어, '블랙 스완' 사건으로 간주되는 의식 무용을 잠재적 위협으로 해석하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 시험 데이터가 훈련 데이터와 크게 다를 경우 AI/ML 시스템이 어떻게 효과적으로 불확실성을 정량화할 수 있는가?
• RQ2 어떤 기술적 접근 방식이 신경망과 확률적 추론 시스템이 모두 인간이 이해할 수 있는 방식으로 불확실성을 표현할 수 있도록 하는가?
• RQ3 계층적 AI&ML 시스템에서 불확실성 전파가 고위험, 개방형 환경에서의 의사결정을 어떻게 향상시키는가?
• RQ4 희귀 또는 분포 외 사건에 직면했을 때 불확실성 인식 시스템이 잘못된 의사결정의 위험을 어떻게 줄일 수 있는가?
• RQ5 불확실성을 인간 의사결정자가 고차원적 사고와 정보 기반 개입을 지원할 수 있도록 어떻게 효과적으로 통신할 수 있는가?

주요 결과

• 시민 센터의 참석률이 정상일 경우, 루트 C에 대한 불확실성이 증가한다. 이는 모델이 이러한 이례적인 구성에 대한 훈련 예제가 부족하기 때문이지만, 루트 C는 여전히 위험한 것으로 간주된다.
• 시장에서 폭력 탐지에 대해 신경망이 높은 신뢰도를 보일수록 루트 A와 B에 대한 불확실성이 증가한다. 이는 일반적인 시민 참석 상황에서는 이러한 사건이 발생할 가능성이 낮기 때문에 희귀하거나 분포 외 조건임을 시사한다.
• 신경망의 활동 클래스에 대한 불확실성이 직접적으로 루트 A와 B의 주관적 의견에 영향을 미치며, 이는 모델의 불확실성이 의사결정 시스템 전반에 걸쳐 전파됨을 보여준다.
• 시스템은 동기화된 춤을 의식으로 해석하는 '블랙 스완' 사건을 불확실성 신호로 식별하여 인간의 조사 유도 및 보다 안전한 운영 계획의 재수립을 이끌어냈다.
• 지휘관은 불확실성이 증가했지만 안전 확률이 높은 더 높은 위험의 루트 A를 선택하거나, 강력한 장갑 보호를 선택함으로써 불확실성 기반의 위험 인식 의사결정가능성을 보여주었다.
• 증거 신경망과 주관적 베이지안 네트워크의 통합은 데이터 부족이나 모델 오분류와 같은 불확실성 원인을 설명함으로써 인간의 신뢰도와 상황 인식 능력을 향상시켰다.