[論文レビュー] Towards Improving Calibration in Object Detection Under Domain Shift

Muhammad Akhtar Munir, Muhammad Haris Khan+2 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、ドメイン内およびドメイン外の検出シナリオにおいて信頼性の高い予測を実現するため、深層畳み込みニューラルネットワークベースのオブジェクト検出器向けに、トレーニング時におけるプラグアンドプレイ型のキャリブレーション損失（TCD）を提案する。さらに、自己学習ドメイン適応における不確実性評価を用いた暗黙的キャリブレーション手法（ICT）を導入し、TCDとICTを組み合わせることで、精度を損なわずにキャリブレーション性能が顕著に向上することを示している。特に、困難なドメインシフト下でも顕著な改善が得られる。

ABSTRACT

With deep neural network based solution more readily being incorporated in real-world applications, it has been pressing requirement that predictions by such models, especially in safety-critical environments, be highly accurate and well-calibrated. Although some techniques addressing DNN calibration have been proposed, they are only limited to visual classification applications and in-domain predictions. Unfortunately, very little to no attention is paid towards addressing calibration of DNN-based visual object detectors, that occupy similar space and importance in many decision making systems as their visual classification counterparts. In this work, we study the calibration of DNN-based object detection models, particularly under domain shift. To this end, we first propose a new, plug-and-play, train-time calibration loss for object detection (coined as TCD). It can be used with various application-specific loss functions as an auxiliary loss function to improve detection calibration. Second, we devise a new implicit technique for improving calibration in self-training based domain adaptive detectors, featuring a new uncertainty quantification mechanism for object detection. We demonstrate TCD is capable of enhancing calibration with notable margins (1) across different DNN-based object detection paradigms both in in-domain and out-of-domain predictions, and (2) in different domain-adaptive detectors across challenging adaptation scenarios. Finally, we empirically show that our implicit calibration technique can be used in tandem with TCD during adaptation to further boost calibration in diverse domain shift scenarios.

研究の動機と目的

• 深層学習ベースのオブジェクト検出器におけるキャリブレーション手法の不足、特にドメインシフト下での課題に対処すること。
• ドメイン内だけでなくドメイン外の設定においても、分布シフトによって予測の信頼性が低下する状況下で、オブジェクト検出器のキャリブレーションを向上させること。
• バックボーンアーキテクチャを変更せずに、信頼性の高いキャリブレーションを向上させる、プラグアンドプレイ型のトレーニング時損失（TCD）を開発すること。
• 不確実性評価を用いた自己学習ベースのドメイン適応検出器向けに、暗黙的キャリブレーション手法（ICT）を設計すること。
• TCDとICTが相補的であることを実証し、多様なドメインシフトシナリオにおいて、両者の統合がキャリブレーション性能を顕著に向上させることを示すこと。

提案手法

• 分類の信頼度とボクシングボックスの局所化を同時に正則化する、新しい補助損失関数であるTCDを提案する。
• TCDは、すべてのクラスにわたる予測信頼度と実際の正答率の乖離を最小化する信頼度キャリブレーション項を統合する。
• 自己学習における低信頼度の偽ラベルをフィルタリングするために、予測された信頼度、中心座標、アスペクト比からの不確実性推定を用いた暗黙的キャリブレーション手法（ICT）を導入する。
• ICTでは、信頼度、空間的位置（x,y）、アスペクト比の予測を統合する多成分の不確実性評価戦略を採用し、偽ラベルの品質を向上させる。
• TCDをさまざまな検出ヘッド（ワンステージおよびツーフェーズ）と組み合わせ、SSAL や UGPL などのドメイン適応フレームワークに統合する。
• 複数のドメインシフトベンチマーク（Sim10k→Cityscapes、Cityscapes→Cityscapes-foggy、KITTI→Cityscapes、Cityscapes→BDD100K）を用いて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時キャリブレーション損失が、ドメイン内およびドメイン外の両方の検出シナリオにおいて、オブジェクト検出器の信頼度キャリブレーションを改善できるか？
• RQ2 提案されたTCD損失は、異なるオブジェクト検出アーキテクチャや損失関数と組み合わせた場合、どのように性能を示すか？
• RQ3 不確実性に配慮した偽ラベル化による暗黙的キャリブレーションは、自己学習ベースのドメイン適応検出器において、キャリブレーション性能を向上させられるか？
• RQ4 提案された暗黙的キャリブレーション手法（ICT）は、ドメインシフト下でTCD損失と相補的に作用するか？
• RQ5 不確実性評価のうち、信頼度、位置、アスペクト比のどの成分が、ドメイン適応におけるキャリブレーション向上に最も寄与するか？

主な発見

• TCDは、さまざまな検出モデルとドメインシフトに対して、分布的期待キャリブレーション誤差（D-ECE）を最大40％まで低減し、特にSim10k→Cityscapesで最高の性能（D-ECE: 7.9）を示した。
• TCDの導入により、さまざまなシフトシナリオで平均平均適合度（mAP@0.5）が4.7～12.8ポイント向上し、精度への悪影響は最小限に抑えられた。
• TCDにおけるd_det要因は極めて重要である：この項を除去すると、D-ECEが最大4.8ポイント上昇し、局所化キャリブレーションの安定化に寄与することが示された。
• 信頼度、x/y座標、アスペクト比の全不確実性推定を用いたICTは、Sim10k→Cityscapesで最低のD-ECE（12.7）を達成し、信頼度のみ、または信頼度＋空間座標のみの手法を上回った。
• TCDとICTを統合することで、全体的なキャリブレーション性能が最も向上し、Sim10k→CityscapesではD-ECEが7.9、Cityscapes→Cityscapes-foggyでは16.7にまで低下した。両者の相補的性が明確に示された。
• アブレーションスタディにより、TCDがクラスごとの信頼性図において、過信と低信頼の両方を緩和することが確認され、特にマルチクラスドメインシフト環境下で顕著であった。