[論文レビュー] Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection

Fabian Küppers, Jonas Schneider+1 more|arXiv (Cornell University)|Jul 4, 2022

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本稿では、確率的物体検出モデルのためのガウス過程ベースの再キャリブレーションフレームワークを提案する。このフレームワークは、パrametricな不確実性キャリブレーション（ガウス分布／コーシー分布）と多次元共分散推定を可能にする。実験では、等質回帰（Isotonic Regression）が最良の分位数キャリブレーションを達成する一方、提案された多次元GP-ノーマル法がカルマンフィルタなどの後続応用における最良の分散キャリブレーションを達成することを示している。

ABSTRACT

Reliable spatial uncertainty evaluation of object detection models is of special interest and has been subject of recent work. In this work, we review the existing definitions for uncertainty calibration of probabilistic regression tasks. We inspect the calibration properties of common detection networks and extend state-of-the-art recalibration methods. Our methods use a Gaussian process (GP) recalibration scheme that yields parametric distributions as output (e.g. Gaussian or Cauchy). The usage of GP recalibration allows for a local (conditional) uncertainty calibration by capturing dependencies between neighboring samples. The use of parametric distributions such as as Gaussian allows for a simplified adaption of calibration in subsequent processes, e.g., for Kalman filtering in the scope of object tracking. In addition, we use the GP recalibration scheme to perform covariance estimation which allows for post-hoc introduction of local correlations between the output quantities, e.g., position, width, or height in object detection. To measure the joint calibration of multivariate and possibly correlated data, we introduce the quantile calibration error which is based on the Mahalanobis distance between the predicted distribution and the ground truth to determine whether the ground truth is within a predicted quantile. Our experiments show that common detection models overestimate the spatial uncertainty in comparison to the observed error. We show that the simple Isotonic Regression recalibration method is sufficient to achieve a good uncertainty quantification in terms of calibrated quantiles. In contrast, if normal distributions are required for subsequent processes, our GP-Normal recalibration method yields the best results. Finally, we show that our covariance estimation method is able to achieve best calibration results for joint multivariate calibration.

研究の動機と目的

• 物体検出の多次元回帰タスクにおけるパrametric不確実性キャリブレーションの欠如に対処すること。
• 空間次元（例：位置、幅、高さ）間の事後的共分散推定を可能にし、条件付き相関をモデリングすること。
• 確率的検出モデルにおける分位数および分散キャリブレーションの観点から、再キャリブレーション手法を評価・比較すること。
• 自律走行などの安全が求められる応用に適合する柔軟でオープンソースのキャリブレーションフレームワークを提供すること。

提案手法

• 入力依存の不確実性パramータを推定するため、ガウス過程（GP）を用いた再キャリブレーションを採用。非パラメトリック出力を、ガウス分布またはコーシー分布といったパラメトリック分布に置き換える。
• GP-ノーマル再キャリブレーションを適用し、完全な共分散行列を有するキャリブレート済みの多次元正規分布を生成する。
• 結合多次元キャリブレーションを評価するため、マハラノビス距離に基づく分位数キャリブレーション誤差指標を導入。
• GPベースの不確実性モデリングを用いて、出力次元間の相関を学習することで、事後的共分散推定を実現。
• 比較のため、等質回帰と分散スケーリングをベースライン手法として採用。
• 空間的不確実性出力を有する確率的RetinaNetモデルを用いて、手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 GPベースの再キャリブレーションは、カルマンフィルタに適した信頼性の高いパラメトリック不確実性分布（例：正規分布）を生成できるか？
• RQ2 共分散推定を伴う結合多次元再キャリブレーションは、周辺的アプローチよりもキャリブレーション性能を向上させるか？
• RQ3 異なる再キャリブレーション手法は、分位数および分散キャリブレーションにおいてどのように比較されるか？
• RQ4 物体検出において、予測誤差分布は正規分布よりもコーシー分布でより良く近似されるか？
• RQ5 空間的位置が誤差分布に影響を及ぼすか？これは条件付き再キャリブレーションの正当性を裏付けるか？

主な発見

• 一般的な確率的物体検出モデルは、空間的不確実性推定において過小評価している。
• 予測誤差分布は、正規分布よりもコーシー分布でより良く近似される。
• 等質回帰は、累積分布関数の形状に柔軟性を示すため、最も優れた分位数キャリブレーション性能を達成する。
• 多次元GP-ノーマル法は、パラメトリックモーメントが必要な状況で、他の手法を上回る最良の分散キャリブレーションを達成する。
• 予測誤差と物体位置との間に顕著な相関は認められず、分位数キャリブレーションにおいて周辺的再キャリブレーションで十分であることが示された。
• 提案されたGP-ノーマル法により、正確な事後的共分散推定が可能となり、結合多次元キャリブレーションが向上した。