[論文レビュー] CRUDE: Calibrating Regression Uncertainty Distributions Empirically

Eric Zelikman, Christopher Healy+2 more|arXiv (Cornell University)|May 26, 2020

Fault Detection and Control Systems参考文献 46被引用数 14

ひとこと要約

CRUDE は回帰の不確実性を後処理で補正する手法であり、パラメトリックな形式を仮定せずに、保留セットから予測誤差分布の形状を経験的に学習する。多様な回帰タスクにおいて、ガウス分布を仮定する MLE や Kuleshov らの手法を凌駕し、両方の指標であるキャリブレーションとシャープネスの両方を向上させる。UCI データセットおよびオブジェクト検出ベンチマークでその有効性が示された。

ABSTRACT

Calibrated uncertainty estimates in machine learning are crucial to many fields such as autonomous vehicles, medicine, and weather and climate forecasting. While there is extensive literature on uncertainty calibration for classification, the classification findings do not always translate to regression. As a result, modern models for predicting uncertainty in regression settings typically produce uncalibrated and overconfident estimates. To address these gaps, we present a calibration method for regression settings that does not assume a particular uncertainty distribution over the error: Calibrating Regression Uncertainty Distributions Empirically (CRUDE). CRUDE makes the weaker assumption that error distributions have a constant arbitrary shape across the output space, shifted by predicted mean and scaled by predicted standard deviation. We detail a theoretical connection between CRUDE and conformal inference. Across an extensive set of regression tasks, CRUDE demonstrates consistently sharper, better calibrated, and more accurate uncertainty estimates than state-of-the-art techniques.

研究の動機と目的

• 回帰モデルがしばしば過信した不確実性を生じるという、不確実性キャリブレーションの欠如に取り組む。
• 特定の誤差分布（例：ガウス分布）を仮定するか、可逆なキャリブレーション曲線に依存する既存手法の制限を克服する。
• 補助モデルや強い分布仮定を必要とせず、不確実性推定における競合する二つの目標（キャリブレーションとシャープネス）の両方を向上させる手法を開発する。
• 表形式データやオブジェクト検出を含む多様な回帰タスクにおいて、CRUDE の有効性を実証する。不確実性キャリブレーションが重要な分野である。
• CRUDE と順序統計的推論（conformal inference）の理論的関係を確立し、経験的キャリブレーションを統計学的に確立されたフレームワークに結びつける。

提案手法

• CRUDE は保留セットを用いて、データセット全体における予測誤差（y_true - y_pred）の分布を経験的に推定する。
• 誤差分布は入力空間全体で固定された任意の形状を持つが、予測された平均によってシフトされ、予測された標準偏差によってスケーリングされるものと仮定する。
• 新しい予測ごとに、標準化誤差（y_true - y_pred）/予測標準偏差 に対して経験的誤差の累積分布関数（ECDF）を適用することで、キャリブレート済みの不確実性分布を構築する。
• パラメトリックな仮定を避けるために、誤差の経験的累積分布関数（ECDF）を直接使用することで、歪度や重尾分布を示す誤差分布にも適応可能となる。
• CRUDE は後処理として適用可能であり、平均と分散の予測を出力する任意の事前学習済み回帰モデルと組み合わせて使用可能である。
• ある条件下では、CRUDE は順序統計的推論と数学的に同等であり、経験的キャリブレーションを理論的に裏付けられたフレームワークに結びつける。

実験結果

リサーチクエスチョン

• RQ1 誤差分布の特定のパラメトリック形式を仮定しないで、回帰におけるキャリブレーションとシャープネスの両方を向上させるキャリブレーション手法は可能か？
• RQ2 UCI データセットや多様な回帰データセットにおいて、CRUDE はガウス分布を仮定する MLE や Kuleshov らの手法と比較して、キャリブレーションとシャープネスの両面でどのように性能を発揮するか？
• RQ3 事前学習済みモデルを用いたオブジェクト検出のような実世界の応用において、CRUDE は不確実性キャリブレーションをどの程度向上させるか？
• RQ4 CRUDE と順序統計的推論の理論的関係は何か？この関係は解釈可能性と信頼性をどのように向上させるか？
• RQ5 誤差分布が定常でない、またはキャリブレーションデータが限られているといった仮定の破綻に対して、CRUDE はどの程度感度を示すか？

主な発見

• UCI ベンチマークデータセットにおいて、CRUDE は複数のモデルとデータセットで、Kuleshov らの手法およびガウス分布 MLE よりも一貫して優れたキャリブレーションとよりシャープな不確実性推定を達成した。
• COCO を用いたオブジェクト検出タスクでは、CRUDE は未キャリブレートモデルと比較してキャリブレーション RMSE を 90% 減少させ、最良の性能を示した DETR モデルでは Kuleshov らの手法と比較して 72% 減少させた。
• COCO でテストされた 9 種類のモデル組み合わせのうち、1 組を除き、CRUDE はキャリブレーションとシャープネスの両面で Kuleshov らの手法を上回った。
• モンテカルロドロップアウト や NGBoost といった、不確実性推定戦略が異なるモデルに対しても、CRUDE は頑健な性能を示した。
• 経験的誤差分布はしばしば歪度や尖度を示しており、これがガウス分布 MLE が実際の状況で性能を発揮できない理由を説明している。
• CRUDE と順序統計的推論との間で理論的同等性が確立され、CRUDE のキャリブレーションが、同じ頻度的カバレッジ保証のもとで有効であることが示された。