[논문 리뷰] Uncertainty Quantification 360: A Holistic Toolkit for Quantifying and Communicating the Uncertainty of AI

Soumya Ghosh, Q. Vera Liao외 5명|arXiv (Cornell University)|2021. 06. 02.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 13

한 줄 요약

이 논문은 AI 모델의 불확실성에 대한 정량화, 평가, 향상 및 소통을 위한 종합적이고 scikit-learn 호환 프레임워크를 제공하는 오픈소스 파이썬 툴킷인 UQ360을 소개한다. 이 툴킷은 다양한 UQ 알고리즘, 校정 메트릭스, 모델 개선 기법, 그리고 심리학에 기반한 소통 전략을 통합하여 AI 개발 라이프사이클 전반에서 신뢰성과 신뢰도를 향상시킨다.

ABSTRACT

In this paper, we describe an open source Python toolkit named Uncertainty Quantification 360 (UQ360) for the uncertainty quantification of AI models. The goal of this toolkit is twofold: first, to provide a broad range of capabilities to streamline as well as foster the common practices of quantifying, evaluating, improving, and communicating uncertainty in the AI application development lifecycle; second, to encourage further exploration of UQ's connections to other pillars of trustworthy AI such as fairness and transparency through the dissemination of latest research and education materials. Beyond the Python package (\url{https://github.com/IBM/UQ360}), we have developed an interactive experience (\url{http://uq360.mybluemix.net}) and guidance materials as educational tools to aid researchers and developers in producing and communicating high-quality uncertainties in an effective manner.

연구 동기 및 목표

• 데이터 수집부터 추론에 이르기까지 전체 AI 개발 라이프사이클에 걸쳐 불확실성 정량화를 체계적으로 통합하기 위해.
• 내재적 및 외재적 불확실성 추정 방법을 모두 지원하는 통합적이고 확장 가능한 툴킷을 제공하기 위해.
• 등 calibration 메트릭스와 후행 개선 기법(예: 등비 회귀 및 UCC 校정)을 통해 불확실성 추정의 신뢰도를 향상시키기 위해.
• 심리학 및 HCI 분야의 인간 중심 설계 원칙을 기반으로 전문가들이 효과적인 불확실성 소통 방법을 안내하기 위해.
• 연구, 교육, 오픈소스 툴링을 통합하여 신뢰할 수 있는 AI에 관한 실천 공동체를 조성하기 위해.

제안 방법

• 이 툴킷은 베이지안 신경망, 가우시안 프로세스, 분위수 회귀, 후행 불확실성 추정을 위한 메타모델을 포함한 10개 이상의 UQ 알고리즘을 구현한다.
• 기존 모델에서 불확실성을 생성하기 위해 내재적 방법(예: 말뚝 우선분포를 가진 BNNs)과 외재적 방법(예: 블랙박스 메타모델)을 모두 지원한다.
• scikit-learn 호환 인터페이스를 제공하여 기존 머신러닝 워크플로우(예: 하이퍼파라미터 튜닝을 위한 GridSearchCV 포함)와 원활하게 통합할 수 있도록 한다.
• 기존 메트릭스인 Expected Calibration Error (ECE), PICP, MPIW 외에, 校정 평가를 위한 새로운 도구인 불확실성 특성 곡선(UCC)을 포함한다.
• 심리학적 연구에 기반하여 사용자 이해도를 높이기 위해 수치 범위, 시각적 신뢰구간, 밀도도, 분위수 도트 플롯 등 다양한 소통 형식을 지원한다.
• 실제 응용 사례를 보여주기 위해 Jupyter 노트북 튜토리얼과 상호작용 가능한 웹 인터페이스(uq360.mybluemix.net)를 제공한다. 의료 및 금융 분야의 사례를 포함한다.

실험 결과

연구 질문

• RQ1 불확실성 정량화는 어떻게 전체 AI 개발 라이프사이클에 체계적으로 통합될 수 있는가?
• RQ2 다양한 머신러닝 작업에서 신뢰할 수 있는 불확실성 추정을 지원하기 위해 어떤 UQ 알고리즘과 평가 메트릭스 조합이 가장 적합한가?
• RQ3 후행 불확실성 校정 기법은 사전 학습된 모델의 불확실성 추정 신뢰도를 어떻게 향상시킬 수 있는가?
• RQ4 인지과학 및 인간-컴퓨터 상호작용 원칙에 기반해 사용자에게 불확실성을 효과적으로 전달하는 소통 전략은 무엇인가?
• RQ5 통합적이고 확장 가능한 툴킷은 신뢰할 수 있는 책임감 있는 AI 분야의 혁신을 어떻게 가속화할 수 있는가?

주요 결과

• UQ360은 메타모델을 사용하여 표준 scikit-learn 추정기의 예측에 불확실성 예측을 추가할 수 있도록 하여, 기울기 부스팅 회귀기의 예측 구간 생성과 같은 기능을 가능하게 한다.
• 이 툴킷은 예측 구간 커버리지 확률(PICP)과 같은 UQ 인식 메트릭스를 통해 모델 선택을 지원하며, GridSearchCV를 활용해 불확실성 품질을 최적화할 수 있다.
• UQ360는 불확실성 특성 곡선(UCC)을 통한 운영 포인트에 의존하지 않는 새로운 校정 평가 기법을 포함하여 불확실성 평가의 강건성을 향상시킨다.
• UCC 재보정 및 등비 회귀와 같은 후행 校정 기법은 출력이 잘 校정되지 않은 모델의 경우 불확실성의 신뢰도를 크게 향상시킨다.
• 시각화 도구(예: 분위수 도트 플롯, 신뢰구간)를 포함한 툴킷의 소통 도구는 사용자 이해도와 AI 예측에 대한 신뢰도를 향상시키기 위해 설계되어 있다.
• 심리학적 지침을 불확실성 소통에 통합함으로써, 불확실성 추정이 정확할 뿐 아니라 최종 사용자에게도 효과적으로 인지될 수 있도록 보장한다.