[논문 리뷰] Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing, and Improving Uncertainty Quantification

Youngseog Chung, Ian Char외 3명|arXiv (Cornell University)|2021. 09. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 40

한 줄 요약

본 논문은 Uncertainty Toolbox를 소개합니다, 회귀에서 불확실성 정량화(UQ)를 평가, 시각화, 재보정하기 위한 오픈 소스 파이썬 라이브러리로, 확률적 신경망의 여러 손실 목표를 비교하기 위한 메트릭과 시각화를 제공합니다.

ABSTRACT

With increasing deployment of machine learning systems in various real-world tasks, there is a greater need for accurate quantification of predictive uncertainty. While the common goal in uncertainty quantification (UQ) in machine learning is to approximate the true distribution of the target data, many works in UQ tend to be disjoint in the evaluation metrics utilized, and disparate implementations for each metric lead to numerical results that are not directly comparable across different works. To address this, we introduce Uncertainty Toolbox, an open-source python library that helps to assess, visualize, and improve UQ. Uncertainty Toolbox additionally provides pedagogical resources, such as a glossary of key terms and an organized collection of key paper references. We hope that this toolbox is useful for accelerating and uniting research efforts in uncertainty in machine learning.

연구 동기 및 목표

• 회귀 설정에서 예측 불확실성의 강력한 평가를 유도하여 UQ 방법 간의 공정한 비교를 가능하게 한다.
• 분포 예측을 위한 보정된 메트릭, 재보정 유틸리티, 시각화 도구를 포함하는 통합 도구 상자를 제공한다.
• 포괄적 UQ 평가를 위해서는 다수의 평가 지표가 필요함을 입증하고 재보정이 보정도를 개선하는 방법을 보여준다.
• 초보자와 연구자가 UQ 도구를 효과적으로 사용할 수 있도록 용어집 및 논문 추천과 같은 교육 자료를 제공한다.]
• method:["Uncertainty Toolbox의 네 가지 주요 기능인 평가 지표, 등간회귀를 통한 재보정, 시각화, 그리고 교수학적 자료를 설명한다.","보정, 그룹 보정, 샤프니스, 적절한 점수 규칙을 포함한 예측 UQ에 대한 평가 지표를 요약하고 형식을 정한다.","다른 손실 함수로 확률적 신경망을 학습시키고 여러 지표로 평가하는 사례 연구를 통해 도구 사용법을 시연한다.","분포 예측의 평균 보정을 개선하기 위한 재보정 절차를 구현한다.","합성 데이터셋, 다중 손실 함수(NLL, CRPS, Check, Interval) 및 UQ 진단 도구 모음을 포함하는 사례 연구 워크플로를 제공한다.","지표 모음을 사용하여 방법들을 비교하고 지표 간의 잠재적 충돌 및 보완 정보를 설명한다.]
• research_questions:[

제안 방법

실험 결과

연구 질문

• RQ1 통일된 도구 상자는 회귀 작업에서 불확실성 정량화의 비교 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 다양한 손실 목표에 걸친 일반적인 UQ 평가 지표의 강점과 한계는 무엇인가?
• RQ3 재보정(예: 등간회귀)이 확률적 신경망의 분포 예측 평균 보정을 개선할 수 있는가?
• RQ4 여러 지표가 단일 점수 평가를 넘어 UQ 품질에 대한 보완적 통찰을 제공하는가?

주요 결과

• 보정, 샤프니스, 적절한 점수 지표들의 모음은 단일 지표보다 UQ 품질에 대한 더 미묘한 시각을 제공합니다.
• 다른 손실 목표(NLL, CRPS, Check, Interval)은 서로 다른 보정 및 샤프니스 동작을 보이며 모든 지표에서 단일 방법이 우위를 차지하지 않습니다.
• 적대적 그룹 보정 및 기타 보정 진단은 어떤 방법들이 입력 도메인의 부분집합에 대해 더 잘 보정되는지, 평균치뿐 아니라 드러냅니다.
• 등간회귀를 통한 재보정은 분포 예측의 평균 보정을 개선할 수 있습니다.
• 적절한 점수 규칙은 보정과 샤프니스 간의 트레이드오프를 포착하며 사용된 지표에 따라 방법의 순위를 다르게 매길 수 있습니다.