[論文レビュー] Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty Quantification

Youngseog Chung, Willie Neiswanger+2 more|arXiv (Cornell University)|Nov 18, 2020

Fault Detection and Control Systems被引用数 23

ひとこと要約

本稿では、ピンバラスコアの制限を克服するモデルに依存しない分位数手法を提案する。この手法は、キャリブレーションとシャープネスの明示的トレードオフを可能にし、中央に配置された予測区間を最適化し、個々のキャリブレーションを向上させる。調整可能な損失関数とトレーニング手順を用い、ベンチマークおよび実世界の核融合データセットにおいて、優れた不確実性評価を実現した。

ABSTRACT

Among the many ways of quantifying uncertainty in a regression setting, specifying the full quantile function is attractive, as quantiles are amenable to interpretation and evaluation. A model that predicts the true conditional quantiles for each input, at all quantile levels, presents a correct and efficient representation of the underlying uncertainty. To achieve this, many current quantile-based methods focus on optimizing the so-called pinball loss. However, this loss restricts the scope of applicable regression models, limits the ability to target many desirable properties (e.g. calibration, sharpness, centered intervals), and may produce poor conditional quantiles. In this work, we develop new quantile methods that address these shortcomings. In particular, we propose methods that can apply to any class of regression model, allow for selecting a trade-off between calibration and sharpness, optimize for calibration of centered intervals, and produce more accurate conditional quantiles. We provide a thorough experimental evaluation of our methods, which includes a high dimensional uncertainty quantification task in nuclear fusion.

研究の動機と目的

• 分位数回帰におけるピンバラスコアの制限を解決すること。これは、モデル選択を制限し、キャリブレーションとシャープネスのバランスを暗黙的に決定するためである。
• 条件付き密度推定に基づくモデルに依存しないトレーニング手法を開発することで、任意の回帰モデルを不確実性評価に使用可能にする。
• 調整可能な損失関数を用いて、キャリブレーションとシャープネスのトレードオフを明示的に制御可能にする。
• 実務で一般的な中央に配置された予測区間を最適化する。ピンバラスコアはこの目的を明示的に目指さない。
• 個々のキャリブレーションを平均キャリブレーションを超えて向上させるための新規なトレーニング手順を提供し、分位数予測の信頼性を向上させる。

提案手法

• 条件付き密度推定を用いて、すべての分位数を同時に学習するモデルに依存しないアルゴリズムを提案。これにより、分位数予測とモデルアーキテクチャが分離される。
• キャリブレーションとシャープネスの目的を分離する調整可能な損失関数を導入。トレーニング中にこれらの特性のバランスを明示的に制御可能となる。
• 中央に配置された予測区間を特に最適化する新しい損失関数を設計。実務で一般的なこのユースケースのパフォーマンス向上を図る。
• 各分位数レベルにおける期待されるカバレッジ率からのずれを最小化するトレーニング手順を設計。これにより、個々のキャリブレーションが向上する。
• ブートストラップアンサンブルを用いてエピステミック不確実性を組み込み、低データ環境でのロバストネスを向上させる。
• 高次元回帰タスク、特に実世界の核融合不確実性評価タスクに本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 分位数手法をモデルに依存しないものにできるか。これにより、任意の回帰モデルを不確実性評価に使用可能になるか。
• RQ2 ピンバラスコアが暗黙的に行うキャリブレーションとシャープネスのバランスを、分位数回帰で明示的に制御できるか。
• RQ3 中央に配置された区間を最適化することで、不確実性推定における実用的パフォーマンスが向上するか。
• RQ4 個々のキャリブレーションを平均キャリブレーションを超えて向上させられ、その結果、より信頼性の高い分位数予測が得られるか。
• RQ5 提案手法は、複雑な不確実性構造を持つ高次元で実世界の回帰タスクにおいて、どのように性能を発揮するか。

主な発見

• 提案手法は、ベースラインのピンバラスコア手法と比較して、キャリブレーションとシャープネスのトレードオフを優れて達成し、これらの指標のバランスを明示的に制御可能である。
• モデルに依存しないトレーニングアプローチにより、多様な回帰モデルを不確実性評価に活用可能となり、従来の分位数回帰フレームワークを超える適用範囲が拡大された。
• 中央に配置された区間を最適化することで、実務的状況におけるより正確で信頼性の高い予測区間が得られ、ピンバラスコアを上回る性能を示した。
• 個々のキャリブレーションを向上させるトレーニング手順により、特に悪意のあるグループ設定下で著しく誤差が低減され、分位数予測の信頼性が向上した。
• 高次元の核融合回帰タスクにおいて、提案手法は既存のベースラインを上回る、より正確でよくキャリブレートされた不確実性推定を生成した。
• ブートストラップアンサンブルはエピステミック不確実性を効果的に組み込み、低データ環境での過信を軽減し、エピステミックカバレッジを向上させた。