[論文レビュー] Calibrating Uncertainties in Object Localization Task

Buu Phan, Rick Salay+4 more|arXiv (Cornell University)|Nov 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 19

ひとこと要約

この論文は、オブジェクト検出における不正確な不確実性推定を、Kuleshovらの回帰補正法をベイジアンニューラルネットワーク（BNN）に基づくボクシングボックス予測に適応することで解決する。補正された不確実性は信頼性を向上させ、オックスフォード-IIIT Petsデータセットにおけるボクシングボックス座標の全範囲で、補正前の平均二乗誤差（MSE）2.7×10⁻²が補正後2.7×10⁻⁴に低下することを示している。

ABSTRACT

In many safety-critical applications such as autonomous driving and surgical robots, it is desirable to obtain prediction uncertainties from object detection modules to help support safe decision-making. Specifically, such modules need to estimate the probability of each predicted object in a given region and the confidence interval for its bounding box. While recent Bayesian deep learning methods provide a principled way to estimate this uncertainty, the estimates for the bounding boxes obtained using these methods are uncalibrated. In this paper, we address this problem for the single-object localization task by adapting an existing technique for calibrating regression models. We show, experimentally, that the resulting calibrated model obtains more reliable uncertainty estimates.

研究の動機と目的

• オブジェクト検出タスクにおける不確実性推定の信頼性、特にボクシングボックス座標についての検討を行う。
• ベイジアンニューラルネットワーク（BNN）は分類の不確実性は良好に補正されているが、局在化の不確実性は不適合であることを特定する。
• 2次元単一オブジェクト分類・局在化（SOCL）タスクにおける局在化不確実性の不適合を是正する。
• 回帰補正技術を適応させ、ボクシングボックス不確実性推定の信頼性を向上させる。
• 信頼性図とMSE指標を用いて、オックスフォード-IIIT Petsデータセット上で補正の有効性を検証する。

提案手法

• 各ボクシングボックス座標について、予測の平均と分散（エピステミック + アレアトニック）を推定するために、モンテカルロドロップアウトを用いたベイジアンニューラルネットワーク（BNN）を用いる。
• 予測されたボクシングボックス座標を独立したガウス分布としてモデル化する：$ p(b_i|\mathbf{x}) = \mathcal{N}(\bar{b}_i, \bar{\sigma}^2_i) $。
• ガウス分布の累積分布関数（CDF）を用いて信頼区間を計算する：$ P_{b_i|\mathbf{x}}(z) = \Phi(z|\bar{b}_i, \bar{\sigma}^2_i) $。
• 逆CDFを用いて信頼水準$ q $を予測範囲にマッピングする：$ P^{-1}_{b_i|\mathbf{x}}(q) $、これにより$ 100q\% $信頼区間が定義される。
• 予測されたCDF値を観測されたカバレッジレートにマッピングするパrametric回帰モデル$ R_i $を用いてモデルを補正する。
• 検証データを用いて補正関数$ R_i $をフィッティングし、予測不確実性を実際のカバレッジ頻度に一致させる。

実験結果

リサーチクエスチョン

• RQ1 BNNベースのオブジェクト検出器におけるボクシングボックス座標の不確実性推定は、良好に補正されているか？
• RQ2 局在化不確実性の不適合は、実世界の応用において信頼性のない信頼区間を生じるか？
• RQ3 既存の回帰補正技術を、ボクシングボックス不確実性推定の信頼性向上に適応可能か？
• RQ4 補正によって、予測と実際のカバレッジ頻度の間の平均二乗誤差（MSE）は、局在化区間においてどのように変化するか？
• RQ5 補正手法はSOCLタスクにおける4つのボクシングボックス座標（x_min, y_min, x_max, y_max）すべてに有効か？

主な発見

• 元のBNNモデルは、顕著な不適合を示しており、期待される40%信頼区間が真の値の20%しかカバーせず、60%区間が真の値の80%をカバーしている。
• 補正後、推定された20%信頼区間が真のボクシングボックス座標の約20%をカバーしており、信頼性が向上していることが示された。
• 補正後、4つのボクシングボックス座標すべてで、予測と実際のカバレッジ頻度の間の平均二乗誤差（MSE）が2.7×10⁻²から2.7×10⁻⁴に低下した。
• MCドロップアウトを用いた分類不確実性は、もともと良好に補正されていた（MSE = 3.0×10⁻³）が、元の重みスケーリング法ではより高い不適合（MSE = 1.6×10⁻²）を示していた。
• 補正済みモデルは、信頼性の高い95%信頼区間を生成しており、図1dで示されるように、青色領域（95%区間）が多くの場合、真値（ピンク）を的確に含んでいる。
• 補正プロセスは効果的かつ計算コストが低く、不確実性推定および補正にほとんど追加コストがないが、エピステミック不確実性推定は依然として高コストである。