[論文レビュー] Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on Complex Urban Driving Scenes

Yu Tian, Yuyuan Liu+4 more|arXiv (Cornell University)|Nov 24, 2021

Anomaly Detection Techniques and Applications参考文献 40被引用数 5

ひとこと要約

本稿では、インライヤー分布を特定するためのエネルギーに基づくモデル（EBM）と、適応的エネルギーに基づくペナルティを備えた画素単位の放棄学習（PAL）モジュールを統合的に最適化する、画素単位の異常クラスを明示的に学習する新しい異常セグメンテーション手法、Pixel-wise Energy-biased Abstention Learning（PEBAL）を提案する。PEBALは4つのベンチマークで最先端の性能を達成し、複雑な都市ドライブシーンにおける誤検出と誤検出の顕著な低減を実現するとともに、リアルタイムの自律走行システムに適した高い計算効率を維持している。

ABSTRACT

State-of-the-art (SOTA) anomaly segmentation approaches on complex urban driving scenes explore pixel-wise classification uncertainty learned from outlier exposure, or external reconstruction models. However, previous uncertainty approaches that directly associate high uncertainty to anomaly may sometimes lead to incorrect anomaly predictions, and external reconstruction models tend to be too inefficient for real-time self-driving embedded systems. In this paper, we propose a new anomaly segmentation method, named pixel-wise energy-biased abstention learning (PEBAL), that explores pixel-wise abstention learning (AL) with a model that learns an adaptive pixel-level anomaly class, and an energy-based model (EBM) that learns inlier pixel distribution. More specifically, PEBAL is based on a non-trivial joint training of EBM and AL, where EBM is trained to output high-energy for anomaly pixels (from outlier exposure) and AL is trained such that these high-energy pixels receive adaptive low penalty for being included to the anomaly class. We extensively evaluate PEBAL against the SOTA and show that it achieves the best performance across four benchmarks. Code is available at https://github.com/tianyu0207/PEBAL.

研究の動機と目的

• 不確実性推定や再構築に依存する既存の異常セグメンテーション手法の限界、ならびに高い誤検出率・誤検出率と計算効率の低さを是正すること。
• 従来の手法が失敗する複雑な都市ドライブシーンにおける小さな、遠く離れた、またはぼやけた異常の検出を向上させること。
• 再構築ネットワークを回避し、再トレーニングのオーバーヘッドを最小限に抑えることで、効率的でリアルタイムの推論を可能にすること。
• ハードなインライヤーサンプルの誤分類を低減するため、適応的ペナルティを備えた画素単位の異常クラスを学習すること。
• 特定の異常クラスの慎重な選択を必要とせず、多様な外部データに対して堅牢な性能を発揮すること。

提案手法

• PEBALは、COCOクラスを用いた外部データ露出により学習されるエネルギーに基づくモデル（EBM）を共同で訓練し、異常ピクセルに高いエネルギー値を割り当てる。
• 画素単位の放棄学習（PAL）モジュールを新規に導入し、各ピクセルの異常クラスへの分類に対するペナルティをそのエネルギー値に応じて適応的にスケーリングする。
• 適応的ペナルティ機構により、高いエネルギーを持つピクセル（おそらく異常）を異常と分類するコストが低減され、精度が向上する。
• 従来のアプローチとは異なり、モデルは最終分類ブロックのみをファインチューニングするため、1.3Mパラメータのみを必要とし、再トレーニングのオーバーヘッドが最小限に抑えられる。
• EBMとPALの共同最適化により、エントロピーまたは再構築損失に依存せずに、明確な画素単位の異常クラスを学習可能である。
• 計算効率が高く、NVIDIA 3090上で1枚あたり0.55秒の推論時間を達成し、Meta-OoD や Synboost を上回る性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 エネルギーに基づくモデリングと適応的放棄学習の共同学習フレームワークは、複雑な都市ドライブシーンにおける異常セグメンテーションの精度を向上させ得るか？
• RQ2 PEBALは、不確実性ベースおよび再構築ベースのSOTA手法と比較して、誤検出および誤検出の両方を低減できるか？
• RQ3 適切な異常クラスの選択を必要とせず、多様でスパースな異常データに対してもPEBALは強固な性能を維持できるか？
• RQ4 PEBALは、埋め込み型自律走行システムに適したリアルタイムの推論効率を達成できるか？
• RQ5 PEBALは、異常データの量や種別が異なる状況に対しても、その性能が安定しているか？

主な発見

• PEBALは4つのベンチマークで最先端の性能を達成し、75%の異常データ露出条件下でFS LostAndFoundデータセットにおいてAPが57.86 ± 2.83、FPR95が5.11 ± 1.69を記録した。
• FS Staticベンチマークでは、APが91.85 ± 0.56、FPR95が1.63 ± 0.09を達成し、両指標でMeta-OoD や Synboost を上回った。
• 異常データ露出比（1%から75%）の変動に対しても一貫した性能を維持し、全設定でAPの変動は2%未満にとどまった。
• PEBALは1枚あたり平均0.55秒の推論時間を達成し、Meta-OoD（0.85秒）や Synboost（1.95秒）を大きく上回る。
• トレーニングパラメータはたったの1.3Mで、1エポックあたり12分のトレーニング時間であり、Meta-OoD（26分）や Synboost（33分）に比べて著しく短い。
• 多様な異常クラスに対して強いロバストネスを示し、COCOクラスの1%のみを異常データとして使用しても、強力な結果を達成した。