[論文レビュー] Estimating and Evaluating Regression Predictive Uncertainty in Deep Object Detectors

Ali Harakeh, Steven L. Waslander|arXiv (Cornell University)|Jan 13, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用数 8

ひとこと要約

本論文では、深層オブジェクト検出器の分散ネットワークを訓練するための適切なスコアルールとしてエネルギースコアを提案し、負の対数尤度（NLL）と比較して、予測分布のキャリブレーションを向上させるとともにエントロピーを低減することを示している。NLLによる訓練は過信度の高い不確実性推定を引き起こすのに対し、エネルギースコアによる訓練はよりキャリブレーションが取れた、エントロピーが低い予測をもたらす。また、オブジェクト検出における不確実性品質を評価する適切なフレームワークを導入している。

ABSTRACT

Predictive uncertainty estimation is an essential next step for the reliable deployment of deep object detectors in safety-critical tasks. In this work, we focus on estimating predictive distributions for bounding box regression output with variance networks. We show that in the context of object detection, training variance networks with negative log likelihood (NLL) can lead to high entropy predictive distributions regardless of the correctness of the output mean. We propose to use the energy score as a non-local proper scoring rule and find that when used for training, the energy score leads to better calibrated and lower entropy predictive distributions than NLL. We also address the widespread use of non-proper scoring metrics for evaluating predictive distributions from deep object detectors by proposing an alternate evaluation approach founded on proper scoring rules. Using the proposed evaluation tools, we show that although variance networks can be used to produce high quality predictive distributions, ad-hoc approaches used by seminal object detectors for choosing regression targets during training do not provide wide enough data support for reliable variance learning. We hope that our work helps shift evaluation in probabilistic object detection to better align with predictive uncertainty evaluation in other machine learning domains. Code for all models, evaluation, and datasets is available at: https://github.com/asharakeh/probdet.git.

研究の動機と目的

• 安全を要する応用分野における深層オブジェクト検出器における信頼性のある予測不確実性推定の欠如に対処すること。
• 分散ネットワークの訓練に負の対数尤度（NLL）を用いることの欠陥を特定すること。これは、予測の正しさに関わらず高エントロピーの予測をもたらす。
• エネルギースコアを非局所的適切スコアルールとして提案し、予測分布のキャリブレーションを向上させるとともにエントロピーを低減すること。
• 適切スコアルールに基づく評価フレームワークを構築し、オブジェクト検出分野で一般的に用いられるアドホックな指標に代わるものとする。
• 既存の回帰ターゲットの訓練戦略が、信頼性のある分散学習に十分なデータサポートを提供しないことを示すこと。

提案手法

• 負の対数尤度（NLL）の代わりにエネルギースコアを損失関数として用いて分散ネットワークを訓練する。
• エネルギースコアを適切スコアルールとして用いて予測分布を評価し、不確実性推定における統計的整合性を保証する。
• 適切スコアルールに基づく新しい評価プロトコルを設計し、オブジェクト検出における予測不確実性の質を評価する。
• 分散ネットワークを用いて、バウンディングボックス回帰出力のための完全な予測分布（平均と分散）を予測する。
• 標準的なオブジェクト検出ベンチマークを用い、標準指標と提案された評価フレームワークを用いて、NLLとエネルギースコアの訓練を比較する。
• 回帰ターゲットのデータサポートが分散学習に与える影響を分析し、データサポートが不十分な場合に不確実性のキャリブレーションが悪化することを示す。

実験結果

リサーチクエスチョン

• RQ1 分散ネットワークを負の対数尤度（NLL）で訓練すると、オブジェクト検出における予測分布が適切にキャリブレーションされ、エントロピーが低いものになるか？
• RQ2 エネルギースコアは、オブジェクト検出器における信頼性のある回帰予測不確実性を学習するためのNLLより優れた訓練目的として機能できるか？
• RQ3 初期の検出器で用いられるアドホックな回帰ターゲット選択戦略は、分散ネットワークによる意味のある不確実性学習の能力にどのように影響するか？
• RQ4 現在のオブジェクト検出分野における評価慣行は、予測不確实在を適切に評価していない程度はどの程度か？
• RQ5 適切スコアルールに基づく評価フレームワークは、オブジェクト検出における不確実性推定の信頼性と比較可能性を向上させることができるか？

主な発見

• NLLによる訓練では、予測されたバウンディングボックス平均の正確性に関わらず、高エントロピーの予測分布が得られ、不確実性のキャリブレーションが著しく悪いことが示された。
• エネルギースコアを訓練目的として用いることで、NLLと比較して顕著にエントロピーが低く、キャリブレーションが取れた予測分布が得られた。
• 適切スコアルールに基づく提案評価フレームワークは、多くの最先端オブジェクト検出器が標準的な訓練プロトコル下で信頼性のある不確実性推定を提供していないことを明らかにした。
• 初期の検出器におけるアドホックな回帰ターゲット選択戦略は、効果的な分散学習に十分なデータサポートを提供していないことが判明し、不確実性の質を制限している。
• エネルギースコアに基づく訓練アプローチは、キャリブレーションと不確実性の鋭さ（sharpness）の両方を向上させ、不確実性に配慮したオブジェクト検出に適した目的関数であることが示された。
• 本研究では、オブジェクト検出分野における現在の評価慣行が、特に不確実性推定分野において、他の機械学習分野のベストプラクティスと一致していないことが示された。