[論文レビュー] Uncertainty Quantification 360: A Holistic Toolkit for Quantifying and Communicating the Uncertainty of AI

Soumya Ghosh, Q. Vera Liao+5 more|arXiv (Cornell University)|Jun 2, 2021

Gaussian Processes and Bayesian Inference参考文献 19被引用数 13

ひとこと要約

本論文では、AIモデルにおける不確実性の定量化、評価、向上、通信を包括的に行う、scikit-learn互換のオープンソースPythonツールキットであるUQ360を紹介する。このツールキットは、多様なUQアルゴリズム、キャリブレーション指標、モデル改善技術、心理学を踏まえた通信戦略を統合し、AI開発ライフサイクル全体における信頼性と信頼性を向上させる。

ABSTRACT

In this paper, we describe an open source Python toolkit named Uncertainty Quantification 360 (UQ360) for the uncertainty quantification of AI models. The goal of this toolkit is twofold: first, to provide a broad range of capabilities to streamline as well as foster the common practices of quantifying, evaluating, improving, and communicating uncertainty in the AI application development lifecycle; second, to encourage further exploration of UQ's connections to other pillars of trustworthy AI such as fairness and transparency through the dissemination of latest research and education materials. Beyond the Python package (\url{https://github.com/IBM/UQ360}), we have developed an interactive experience (\url{http://uq360.mybluemix.net}) and guidance materials as educational tools to aid researchers and developers in producing and communicating high-quality uncertainties in an effective manner.

研究の動機と目的

• データ収集から推論に至るまで、AI開発ライフサイクル全体にわたる不確実性定量化を簡素化すること。
• 内在的および外在的不確実性推定手法を両方サポートする統一的かつ拡張可能なツールキットを提供すること。
• 期待キャリブレーション誤差（ECE）やPICP、MPIWといった標準指標に加え、不確実性特性曲線（UCC）を含む新規ツールを用いて、キャリブレーション指標と事後改善技術（例えば等方回帰やUCCキャリブレーション）により、不確実性推定の信頼性を向上させること。
• 心理学およびHCI分野のヒューマンセンタードデザイン原則を応用し、実務家が効果的な不確実性コミュニケーションを実施できるように支援すること。
• 研究、教育、オープンソースツールの統合を通じて、信頼できるAIに関する実践コミュニティを育成すること。

提案手法

• このツールキットは、ベイジアンニューラルネットワーク、ガウス過程、分位点回帰、および事後不確実性推定のためのメタモデルを含む10種類以上のUQアルゴリズムを実装している。
• 事前学習済みモデルから不確実性を生成するため、内在的メソッド（例：馬毛（Horseshoe）事前分布を用いたBNN）と外在的メソッド（例：ブラックボックスメタモデル）の両方をサポートしている。
• scikit-learn互換のインターフェースを提供しており、既存のMLワークフロー（例：ハイパーパrameterチューニングのためのGridSearchCV）へのシームレスな統合を可能にしている。
• 期待キャリブレーション誤差（ECE）、PICP、MPIWといった標準指標に加え、キャリブレーション評価のための新規ツールとして不確実性特性曲線（UCC）を提供している。
• 心理的研究に基づいたユーザー理解を支援する、数値範囲、視覚的信頼区間、密度プロット、分位点ドットプロットといった複数の通信フォーマットをサポートしている。
• Jupyterノートブックのチュートリアルと、uq360.mybluemix.net におけるインタラクティブなWebインターフェースを提供しており、医療や金融分野における実世界の応用を示している。

実験結果

リサーチクエスチョン

• RQ1 不確実性定量化を、データ収集から推論に至るまで、AI開発ライフサイクル全体に体系的に統合する方法は何か？
• RQ2 多様なMLタスクにわたって信頼性の高い不確実性推定を支援するには、どのUQアルゴリズムと評価指標の組み合わせが最適か？
• RQ3 事後不確実性キャリブレーション技術（例：UCCキャリブレーション、等方回帰）は、事前学習済みモデルからの不確実性推定の信頼性をどのように向上させるか？
• RQ4 認知科学および人間-コンピュータインタラクションの原則に基づき、エンドユーザーに不確実性を最も効果的に伝える通信戦略は何か？
• RQ5 統一的かつ拡張可能なツールキットは、信頼できる・責任あるAI分野におけるイノベーションをどのように加速するか？

主な発見

• UQ360を用いることで、開発者はメタモデルを用いて、勾配ブースティング回帰器などの標準的なscikit-learn推定器に不確実性予測を追加できる。
• このツールキットは、GridSearchCVを用いて不確実性品質を最適化可能な、不確実性に配慮した指標（例：予測区間カバレッジ確率（PICP））を用いたモデル選択をサポートしている。
• UQ360は、不確実性特性曲線（UCC）を用いた、作動点に依存しない新規なキャリブレーション評価手法を備えており、不確実性評価のロバスト性を向上させている。
• UCCキャリブレーションや等方回帰といった事後キャリブレーション技術は、出力がうまくキャリブレーションされていないモデルにおいて、不確実性のキャリブレーションを顕著に改善している。
• このツールキットの通信ツール（例：分位点ドットプロット、信頼区間の可視化）は、ユーザーのAI予測への理解と信頼を高めるように設計されている。
• 不確実性コミュニケーションに心理学的ガイダンスを統合することで、エンドユーザーが不確実性推定を正確に理解し、効果的に認識できるようにしている。