[論文レビュー] Validation of uncertainty quantification metrics: a primer based on the consistency and adaptivity concepts

Pascal Pernot|arXiv (Cornell University)|Mar 13, 2023

Machine Learning in Materials Science被引用数 5

ひとこと要約

この論文は、一貫性と適応性という補完的概念を用いて、機械学習における不確実性評価（UQ）メトリクスの検証のための原理的フレームワークを提示する。信頼性図、信頼性曲線、LZISD分析といった一般的な検証手法を、条件付きキャリブレーションに裏付けられることで、分散および区間ベースのUQメトリクスに対する改善された診断が可能となり、バインニングに依存せず、特徴量に適応する評価戦略の推奨がなされる。

ABSTRACT

The practice of uncertainty quantification (UQ) validation, notably in machine learning for the physico-chemical sciences, rests on several graphical methods (scattering plots, calibration curves, reliability diagrams and confidence curves) which explore complementary aspects of calibration, without covering all the desirable ones. For instance, none of these methods deals with the reliability of UQ metrics across the range of input features (adaptivity). Based on the complementary concepts of consistency and adaptivity, the toolbox of common validation methods for variance- and intervals- based UQ metrics is revisited with the aim to provide a better grasp on their capabilities. This study is conceived as an introduction to UQ validation, and all methods are derived from a few basic rules. The methods are illustrated and tested on synthetic datasets and representative examples extracted from the recent physico-chemical machine learning UQ literature.

研究の動機と目的

• UQ検証のギャップに対処するため、不確実性に対する一貫性（キャリブレーション）と入力特徴量に対する適応性（キャリブレーション）の両方の必要性を形式化すること。
• バインニングや生成分布の仮定に依存するため、誤差推定の検出に限界を示す既存の検証手法（信頼性図、信頼性曲線など）を批判すること。
• 条件付きキャリブレーションに裏付けられた統一的な検証フレームワークを提案し、UQメトリクスのより信頼性が高く解釈可能な評価を可能にすること。
• LZISD分析やLCP分析といった具体的で頑健な手法を推奨し、分散および区間ベースのUQメトリクスにおける一貫性と適応性の検証を行うこと。
• エンドユーザーが入力特徴量空間全体で信頼性のある不確実性推定を必要とする以上、平均値ではなく全空間にわたる適応性の重要性を強調すること。

提案手法

• 信頼性図や信頼性曲線といった一般的なUQ検証ツールを、条件付きキャリブレーションの観点から再解釈し、平均的、局所的、特徴量条件付きキャリブレーションの違いを明確にすること。
• 適応的バインニングを用いてバインニング戦略への感受性を低減するため、LZISD（ローカルZ不確実性標準偏差）分析を導入し、一貫性テストの視覚的判別力と定量的頑健性を高めること。
• 生成分布の仮定に敏感であるが、バインニングに依存しにくい代替手法として、確率的リファレンスを用いたRMSEベースの信頼性曲線を提案し、一貫性検証の代替手段とすること。
• 入力特徴量に条件づけることで適応性の検証を拡張し、条件付き信頼性図、条件付きキャリブレーション曲線、LCP（ローカル被覆確率）分析を提案することで、不確実性が入力の複雑さに適切にスケーリングされているかをテストすること。
• 誤差と相関を示す可能性がある予測値（V）に条件づけることは避けるべきであり、適応性検証においては入力特徴量や不確実性自体を条件変数として使用することを推奨すること。
• 提案された検証手法を実装・可視化するためのErrViewLib RパッケージとUncVal GUIを開発・公開し、再現可能性とアクセシビリティを確保すること。

実験結果

リサーチクエスチョン

• RQ1 一貫性と適応性の概念を用いて、既存のUQ検証手法を体系的に評価・改善することは可能か？
• RQ2 信頼性図や信頼性曲線といった標準的手法が、特定のタイプの不確実性誤差推定を検出できない理由は何か？ その失敗をどのように緩和できるか？
• RQ3 誤差対不確実性プロット、信頼性図、LZISD分析、信頼性曲線は、分散ベースのUQメトリクスの一貫性を評価する上で、それぞれどのような相対的強みと限界を持つのか？
• RQ4 入力特徴量に関する条件付きキャリブレーション（適応性）はどの程度信頼性高く評価可能か？ また、誤差と相関を示す可能性がある予測値（V）を条件変数として使用する際のリスクは何か？
• RQ5 バインニングスキームや生成分布の仮定といった任意の選択に依存しない検証手法は、どのようにして実現可能か？

主な発見

• 誤差対不確実性プロットは、アーティファクトのない一貫性の初期診断に信頼性があるが、定量的確認は不可能である。
• 適応的バインニングを用いることでバイアスを低減できるため、従来の信頼性図よりもLZISD分析が一貫性の評価においてより判別力があり、定量的である。
• 確率的リファレンスを用いたRMSEベースの信頼性曲線は、アクティブラーニングの適性と一貫性の両方を診断可能であり、信頼性図よりもバインニングに依存しにくい。
• 条件付きキャリブレーション曲線は不一致を検出可能だが、誤差分布の仮定が誤っていると誤解を招くおそれがあり、特にアンサンブルベースのUQメトリクスでは顕著である。
• LCP分析は、入力特徴量に関する条件付きキャリブレーションを直接実装するため、区間ベースのUQメトリクスの検証に最も適した手法である。
• 予測値（V）に条件づけると誤った相関が生じる可能性があるため、適応性検証においては入力特徴量や不確実性自体を条件変数として使用することを推奨する。