[논문 리뷰] A Survey on Uncertainty Reasoning and Quantification for Decision Making: Belief Theory Meets Deep Learning

Zhen Guo, Zelin Wan외 8명|arXiv (Cornell University)|2022. 06. 12.

Bayesian Modeling and Causal Inference인용 수 10

한 줄 요약

이 종합 검토는 신뢰 이론과 딥러닝을 체계적으로 연결하여 복잡한 불확실성 하에서의 의사결정을 향상시키기 위해 불확실성 추론 및 측정 방법을 분석한다. 특히 Dezert-Smarandache 이론(DSmT), 덤프스터-샤프어 이론(DST), 이동 가능한 신뢰 모델(TBM)을 중심으로 다루며, 신뢰 구조를 딥러닝과 통합하는 하이브리드 프레임워크인 증거 기반 DNN, 퍼지 DNN, 러프 DNN를 제안하여 실세계 AI 응용에 대한 강건한 불확실성 모델링을 가능하게 한다.

ABSTRACT

An in-depth understanding of uncertainty is the first step to making effective decisions under uncertainty. Deep/machine learning (ML/DL) has been hugely leveraged to solve complex problems involved with processing high-dimensional data. However, reasoning and quantifying different types of uncertainties to achieve effective decision-making have been much less explored in ML/DL than in other Artificial Intelligence (AI) domains. In particular, belief/evidence theories have been studied in KRR since the 1960s to reason and measure uncertainties to enhance decision-making effectiveness. We found that only a few studies have leveraged the mature uncertainty research in belief/evidence theories in ML/DL to tackle complex problems under different types of uncertainty. In this survey paper, we discuss several popular belief theories and their core ideas dealing with uncertainty causes and types and quantifying them, along with the discussions of their applicability in ML/DL. In addition, we discuss three main approaches that leverage belief theories in Deep Neural Networks (DNNs), including Evidential DNNs, Fuzzy DNNs, and Rough DNNs, in terms of their uncertainty causes, types, and quantification methods along with their applicability in diverse problem domains. Based on our in-depth survey, we discuss insights, lessons learned, limitations of the current state-of-the-art bridging belief theories and ML/DL, and finally, future research directions.

연구 동기 및 목표

• 성숙한 신뢰/증거 이론을 현대적인 딥러닝과 통합하여 의사결정에서 효과적인 불확실성 추론을 달성하기 위한 격차를 메우기.
• 신뢰할 수 있는 AI 의사결정을 방해하는 근본 원인과 유형(예: 공백, 모호성, 불일치)인 불확실성의 종류를 규명하고 분석하기.
• DST, DSmT, TBM, IDM 등의 신뢰 이론이 심층 신경망에서 지식 불확실성, 애러토릭 불확실성, 구조 불확실성을 모델링하는 데 어떻게 적용될 수 있는지 평가하기.
• 특히 시계열 및 구조적 예측 작업에 적합한 다차원 불확실성의 측정을 위한 통합 프레임워크를 제안하기.
• 데이터 생성 과정과 적대적 공격에 대한 강건성 기반의 새로운 평가 기준을 제안함으로써, 현재의 불확실성 측정 지표의 한계를 보완하고 향후 연구를 이끌어내기.

제안 방법

• 불확실성 처리 기제를 분석하기 위해 Dezert-Smarandache 이론(DSmT), 덤프스터-샤프어 이론(DST), 이동 가능한 신뢰 모델(TBM), 내재 불일치 측정법(IDM)을 포함한 기초적 신뢰 이론을 종합적으로 검토하기.
• 세 가지 하이브리드 심층학습 아키텍처를 도입: 증거 기반 DNN(신뢰 이론과 DNN를 융합하여 불확실성 측정), 퍼지 DNN(퍼지 논리와 DNN를 융합하여 모호성 처리), 러프 DNN(러프 세트 이론을 활용하여 불완전한 정보 처리).
• 특히 시간적 및 순차적 의사결정 환경에서 다수의 소스 또는 시간 단위에서의 주관적 의견을 신뢰 함수를 통해 융합하기.
• 신뢰 이론의 융합 연산자(예: 동시 결합 또는 배타적 결합 규칙)를 제안하여 예측 또는 시계열 데이터 포인트 간의 불확실성 융합을 수행하기.
• 오분류 및 외부 분포 데이터 탐지 작업을 통해 불확실성 추정을 평가하지만, 불확실성 측정 지표에 대한 기준값이 부족하다는 점을 인정하기.
• 신뢰 모델을 심층 강화학습에 통합하여 사전 지식이 없는 환경에서의 의사결정을 가능하게 하며, IDM이 사전 가정 없이 신뢰를 도출할 수 있는 능력을 활용하기.

실험 결과

연구 질문

• RQ1 DST, DSmT, TBM와 같은 신뢰 이론이 딥러닝에서 다양한 유형의 불확실성(예: 갈등, 불명확성, 공백)을 효과적으로 모델링하고 측정하는 데 어떻게 적용될 수 있는가?
• RQ2 증거 기반, 퍼지, 러프 심층 신경망 간의 불확실성 표현 및 전파 방식의 주요 차이점은 무엇인가?
• RQ3 신뢰 기반 불확실성 측정 방법은 충돌, 불완전 또는 오염된 데이터가 존재하는 상황에서 의사결정의 강건성을 어떻게 향상시키는가?
• RQ4 현재 딥러닝에서의 불확실성 측정 지표의 한계는 무엇이며, 신뢰 이론은 더 타당하고 해석 가능한 평가 프레임워크 개발에 어떻게 기여할 수 있는가?
• RQ5 신뢰 모델은 시계열 의존성과 기계 번역, 명명된 개체 인식과 같은 구조적 예측 작업을 다루기 위해 어떻게 확장될 수 있는가?

주요 결과

• 신뢰 이론을 딥러닝과 성공적으로 통합한 연구는 소수에 불과하여, 불확실성 인식 AI 분야에서 아직 초기 단계이지만 매우 유망한 연구 영역임을 시사한다.
• 증거 기반 DNN, 퍼지 DNN, 러프 DNN는 각각 갈등(불일치), 모호성(불명확성), 증거 부족(공백)과 같은 서로 다른 불확실성 유형을 다루는 실현 가능한 길을 제시한다.
• 내재 불일치 측정법(IDM)은 사전 지식이 없는 환경에서도 의사결정을 가능하게 하여, 특히 미지의 환경에서의 강화학습에 매우 적합하다.
• 현재의 불확실성 추정 방법은 주로 단일 예측(예: 이미지 분류)에 국한되어 있으며, 무시된 시간적 의존성으로 인해 시계열 또는 순차적 데이터에 대한 지원이 미미하다.
• 특히 정성적 또는 모호한 레이블에 대해선, 기저 데이터 생성 과정을 모델링함으로써 불확실성 추정을 검증할 수 있는 새로운 불확실성 지표가 절실하게 필요하다.
• 적대적 공격은 불확실성을 크게 증가시키므로, 불확실성 측정 이전에 이러한 공격을 탐지하는 것이 의사결정 파이프라인의 노이즈와 오류 정보를 줄이기 위해 필수적이다.