[논문 리뷰] Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on Complex Urban Driving Scenes

Yu Tian, Yuyuan Liu외 4명|arXiv (Cornell University)|2021. 11. 24.

Anomaly Detection Techniques and Applications참고 문헌 40인용 수 5

한 줄 요약

이 논문은 이상치 세그멘테이션을 위한 새로운 방법인 픽셀 단위 에너지 편향 기반 기피 학습(PEBAL)을 제안한다. PEBAL은 이상치 분포를 식별하기 위해 에너지 기반 모델(EBM)과 적응형 에너지 기반 페널티를 갖춘 픽셀 단위 기피 학습(PAL) 모듈을 동시에 최적화하여 픽셀 수준의 이상치 클래스를 명시적으로 학습한다. PEBAL은 네 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 복잡한 도심 주행 환경에서 잘못된 양성(False Positive)과 잘못된 음성(False Negative)을 크게 줄이고 실시간 자율 주행 시스템에 적합한 높은 계산 효율성을 유지한다.

ABSTRACT

State-of-the-art (SOTA) anomaly segmentation approaches on complex urban driving scenes explore pixel-wise classification uncertainty learned from outlier exposure, or external reconstruction models. However, previous uncertainty approaches that directly associate high uncertainty to anomaly may sometimes lead to incorrect anomaly predictions, and external reconstruction models tend to be too inefficient for real-time self-driving embedded systems. In this paper, we propose a new anomaly segmentation method, named pixel-wise energy-biased abstention learning (PEBAL), that explores pixel-wise abstention learning (AL) with a model that learns an adaptive pixel-level anomaly class, and an energy-based model (EBM) that learns inlier pixel distribution. More specifically, PEBAL is based on a non-trivial joint training of EBM and AL, where EBM is trained to output high-energy for anomaly pixels (from outlier exposure) and AL is trained such that these high-energy pixels receive adaptive low penalty for being included to the anomaly class. We extensively evaluate PEBAL against the SOTA and show that it achieves the best performance across four benchmarks. Code is available at https://github.com/tianyu0207/PEBAL.

연구 동기 및 목표

• 기존 이상치 세그멘테이션 방법의 한계를 해결하기 위해, 불확실성 추정 또는 재구성에 의존하는 방법들은 모두 높은 잘못된 양성/음성 비율과 계산 비효율성 문제를 야기한다.
• 기존 방법이 실패하는 복잡한 도심 주행 환경에서 작은, 먼, 흐린 이상치의 탐지를 향상시키기 위해.
• 재구성 네트워크를 피하고 재학습 오버헤드를 최소화함으로써 효율적인 실시간 추론을 가능하게 하기 위해.
• 어려운 정상 샘플의 오분류를 줄이기 위해 적응형 페널티를 갖춘 픽셀 단위 이상치 클래스를 학습하기 위해.
• 특정 이상치 클래스를 신중히 선택할 필요 없이 다양한 이상치 데이터에 대해 강건한 성능을 달성하기 위해.

제안 방법

• PEBAL은 이상치 픽셀에 높은 에너지 값을 할당하기 위해 에너지 기반 모델(EBM)을 공동으로 훈련하며, 이는 COCO 클래스에 대한 이상치 노출을 통해 학습된다.
• 새로운 픽셀 단위 기피 학습(PAL) 모듈이 도입되며, 각 픽셀의 이상치로 분류될 경우의 페널티가 그 에너지 점수에 따라 적응적으로 조정된다.
• 적응형 페널티 메커니즘은 고에너지 픽셀(가능성이 높은 이상치)을 이상치로 분류하는 데 드는 비용을 줄여 정밀도를 향상시킨다.
• 기존 방법들과 달리 전체 네트워크 재학습이 아닌 최종 분류 블록만 미세조정하여 총 130만 파라미터만 필요로 하며, 재학습 오버헤드가 극히 적다.
• EBM과 PAL의 공동 최적화를 통해 엔트로피나 재구성 손실에 의존하지 않고도 명확한 픽셀 수준의 이상치 클래스를 학습할 수 있다.
• 계산 효율성이 뛰어나, NVIDIA 3090에서 이미지당 추론 시간이 0.55초이며, Meta-OoD와 Synboost를 능가한다.

실험 결과

연구 질문

• RQ1 에너지 기반 모델링과 적응형 기피 학습의 공동 학습 프레임워크가 복잡한 도심 주행 환경에서 이상치 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ2 PEBAL은 기존의 불확실성 기반 및 재구성 기반 최신 기술 수준(SOTA) 방법보다 잘못된 양성 및 음성 탐지를 줄일 수 있는가?
• RQ3 특정 이상치 클래스를 신중히 선택할 필요 없이 다양한 희박한 이상치 데이터에 대해 PEBAL이 강건한 성능을 유지할 수 있는가?
• RQ4 PEBAL은 임베디드 자율 주행 시스템에 적합한 실시간 추론 효율성을 달성할 수 있는가?
• RQ5 PEBAL은 다양한 양과 종류의 이상치 노출 데이터에 대해 얼마나 강건한가?

주요 결과

• PEBAL은 네 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 75% 이상치 노출 비율에서 FS LostAndFound 데이터셋에서 AP가 57.86 ± 2.83, FPR95가 5.11 ± 1.69를 기록했다.
• FS Static 벤치마크에서는 AP가 91.85 ± 0.56, FPR95가 1.63 ± 0.09를 달성하여 Meta-OoD와 Synboost를 모두 두 지표에서 능가했다.
• 다양한 이상치 노출 비율(1%에서 75%)에서도 일관된 성능을 유지하였으며, 모든 설정에서 AP의 변동이 2% 미만이었다.
• PEBAL은 이미지당 평균 추론 시간이 0.55초로, Meta-OoD(0.85초)와 Synboost(1.95초)보다 빠르게 성능을 냈다.
• 단지 130만 개의 학습 가능한 파라미터만을 사용하여, PEBAL의 훈련 시간은 에포크당 12분으로, Meta-OoD(26분)와 Synboost(33분)보다 훨씬 적었다.
• 다양한 이상치 클래스에 대해 강건함을 보였으며, COCO 클래스 중 1%만을 사용해도 강력한 성능을 달성했다.