[論文レビュー] Can We Trust You? On Calibration of a Probabilistic Object Detector for Autonomous Driving

Di Feng, Lars Rosenbaum+3 more|arXiv (Cornell University)|Sep 26, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 30

ひとこと要約

この論文は、自律走行用の確率的LiDAR 3Dオブジェクト検出器における不確実性の不適合を特定・解決し、温度スケーリング、等方回帰、および新規の損失関数を含む3つの再キャリブレーション手法を提案する。これらの手法は、さまざまなデータセットで顕著に適合性を向上させ、期待適合誤差（ECE）を最大85％まで低減し、未学習データに対しても良好に一般化され、自律走行システムの信頼性を向上させる。

ABSTRACT

Reliable uncertainty estimation is crucial for perception systems in safe autonomous driving. Recently, many methods have been proposed to model uncertainties in deep learning based object detectors. However, the estimated probabilities are often uncalibrated, which may lead to severe problems in safety critical scenarios. In this work, we identify such uncertainty miscalibration problems in a probabilistic LiDAR 3D object detection network, and propose three practical methods to significantly reduce errors in uncertainty calibration. Extensive experiments on several datasets show that our methods produce well-calibrated uncertainties, and generalize well between different datasets.

研究の動機と目的

• 自律走行に用いられる深層学習ベースの確率的LiDAR 3Dオブジェクト検出器における不確実性の不適合を特定・診断すること。
• 分類およびボクセル境界ボックス回帰タスクにおける過信・不足信頼の予測問題を解決すること。
• 推論速度に悪影響を及げない実用的な再キャリブレーション技術を開発すること。
• 異なるデータセットおよびデータの疎らさレベルにおいて、再キャリブレーション手法の頑健性と一般化性能を評価すること。
• 回帰変数が従属する場合における周辺確率のキャリブレーションの限界を明らかにし、今後の研究として結合不確実性モデリングの検討を提案すること。

提案手法

• 著者らは、直接モデリングアプローチを用いて分類スコアとボクセル境界ボックスパラメータ（およびそれらの不確実性）を予測するように変更したPIXORネットワークを用いる。
• 分類スコアの適合性を向上させるために、等方回帰と温度スケーリングを適用する。
• ボクセル境界ボックス回帰では、6次元出力空間（dx, dy, l, w, θ, および log-l, log-w）に再キャリブレーション手法を拡張し、信頼区間を用いてカバレッジを評価する。
• ネットワーク学習中に適合誤差を低減するため、良好な不確実性推定を促進する新規のトレーニング損失関数を導入する。
• 再キャリブレーションモデルはKITTIデータセットのサブセットで学習され、KITTIおよびより多様なnuScenesデータセットで評価され、一般化性能をテストする。
• 性能評価には期待適合誤差（ECE）を用い、ECEが低いほど適合性が良いとされる。

実験結果

リサーチクエスチョン

• RQ1 確率的LiDAR 3Dオブジェクト検出器において、不確実性の不適合は分類およびボクセル境界ボックス回帰の両方でどのように現れるか？
• RQ2 温度スケーリングや等方回帰などの事後再キャリブレーション手法は、オブジェクト検出における不確実性の不適合を効果的に低減できるか？
• RQ3 限られたデータ（例：再キャリブレーションセットの1％）で学習した場合、再キャリブレーション手法の頑健性はどの程度か？
• RQ4 KITTIのような1つのデータセットで学習した再キャリブレーションモデルが、センサーセットアップや環境条件が異なる別のデータセット（例：nuScenes）にどの程度一般化できるか？
• RQ5 回帰変数間の依存性（例：dyとl）が周辺不確実性キャリブレーションに与える影響は何か？また、その影響はどのように是正できるか？

主な発見

• 再キャリブレーションを施さないベースラインモデルは深刻な不適合を示し、nuScenesデータセットにおける期待適合誤差（ECE）は0.218であった。
• nuScenesデータの1％で学習した温度スケーリングは、ECEを0.078まで低減し、小規模な再キャリブレーションデータセットに対しても強い頑健性を示した。
• nuScenesデータの1％で学習した等方回帰は、ECEが0.030という最低水準に達し、他の手法を上回り、優れた一般化性能を示した。
• 再キャリブレーションにより信頼区間のカバレッジが顕著に向上した。再キャリブレーション後は、100％の真値位置が予測された区間内に含まれたが、再キャリブレーションなしのモデルでは真値の30％がカバーされなかった。
• 再キャリブレーション手法は分類および回帰タスクの両方で不適合を低減し、再キャリブレーション済みの予測では予測された信頼度と実際の正確性の整合性が向上した。
• dy（縦方向位置）とl（長さ）の予測誤差間に強い相関（PCC = 0.62）が確認され、変数が従属する場合には周辺キャリブレーションが不十分である可能性が示された。