[논문 리뷰] Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection in Semantic Segmentation

Yuyuan Liu, Choubo Ding외 5명|arXiv (Cornell University)|2022. 11. 26.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 기반 모델을 재학습하지 않으면서도 분류 내 정확도를 유지하면서 픽셀 단위의 이상치 검출 성능을 햖스하는 새로운 모듈인 잔차 패턴 학습(RPL)을 제안한다. 중간 특징에서 이상 현상의 잔차 패턴을 학습하고, 양성 에너지 손실과 맥락에 강건한 대비 학습(CoroCL)을 사용함으로써, Fishyscapes, Segment-Me-If-You-Can, RoadAnomaly 데이터셋에서 이상치 검출 성능이 FPR 기준 최대 10% 향상되고 AuPRC 기준 최대 7% 향상된다.

ABSTRACT

Semantic segmentation models classify pixels into a set of known (``in-distribution'') visual classes. When deployed in an open world, the reliability of these models depends on their ability not only to classify in-distribution pixels but also to detect out-of-distribution (OoD) pixels. Historically, the poor OoD detection performance of these models has motivated the design of methods based on model re-training using synthetic training images that include OoD visual objects. Although successful, these re-trained methods have two issues: 1) their in-distribution segmentation accuracy may drop during re-training, and 2) their OoD detection accuracy does not generalise well to new contexts (e.g., country surroundings) outside the training set (e.g., city surroundings). In this paper, we mitigate these issues with: (i) a new residual pattern learning (RPL) module that assists the segmentation model to detect OoD pixels without affecting the inlier segmentation performance; and (ii) a novel context-robust contrastive learning (CoroCL) that enforces RPL to robustly detect OoD pixels among various contexts. Our approach improves by around 10\% FPR and 7\% AuPRC the previous state-of-the-art in Fishyscapes, Segment-Me-If-You-Can, and RoadAnomaly datasets. Our code is available at: https://github.com/yyliu01/RPL.

연구 동기 및 목표

• 재학습된 모델에서 분류 내 세그멘테이션 정확도와 이상치 검출 성능 간의 상충 관계를 해결한다.
• 도메인 이동(예: 도시에서 농촌 풍경으로의 전환) 상황에서 실패하는 기존 이상치 검출기의 맥락에 대한 강건성 한계를 극복한다.
• 기본 세그멘테이션 네트워크의 미세조정 없이도 이상치 검출 성능을 향상시킬 수 있는 플러그인 모듈을 개발한다.
• 다양한 맥락에서의 변화에도 불구하고 소형 및 미세한 이상 징후에 민감하게 반응하면서 분류 내 영역에서의 오진 경향을 최소화한다.
• 맥락 인식 표현 학습을 통해 다양한 실제 환경 간 이상치 검출의 일반화를 가능하게 한다.

제안 방법

• 고정된 세그멘테이션 네트워크의 중간 특징에서 작동하는 잔차 패턴 학습(RPL) 모듈을 도입하여 유도된 불확실성에 기반해 이상 징후를 탐지한다.
• 외부자료 에너지 점수에만 집중하는 양성 에너지(PE) 손실을 설계하여 픽셀 단위의 이상치 검출에서 클래스 불균형 문제에 대한 강건성을 향상시킨다.
• 다양한 맥락 간 임베딩을 정렬함으로써 새로운 환경으로의 일반화 능력을 향상시키기 위해 맥락에 강건한 대비 학습(CoroCL)을 제안한다.
• 대비 최적화를 효과적으로 수행할 수 있도록 RPL 블록 출력 차원과 일치하는 차원을 갖는 프로젝터 헤드를 사용해 RPL을 훈련시킨다.
• 기본 사전 학습된 세그멘테이션 모델 위에 경량이며 훈련 가능한 헤드로 RPL를 통합하여 주 네트워크의 재학습을 방지한다.
• 두 단계 훈련 전략을 사용한다: 먼저 PE 손실로 RPL를 훈련하고, 이후 CoroCL로 최적화하여 맥락 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 플러그인 모듈을 통해 재학습 없이도 분류 내 세그멘테이션 정확도를 저하시키지 않고 이상치 검출 성능을 향상시킬 수 있는가?
• RQ2 도시에서 농촌 풍경으로의 전환과 같은 다양한 실제 맥락 간의 분포 이동에 대해 이상치 검출이 어떻게 강건하게 유지될 수 있는가?
• RQ3 픽셀 단위의 이상치 검출에서 분류 내/외 분포의 불균형을 다룰 때, 허프만 기반 에너지 손실보다 양성 에너지 손실이 더 우수한가?
• RQ4 다양한 맥락 간의 대비 학습이 이상치 검출기의 일반화 능력을 향상시킬 수 있는가?
• RQ5 RPL은 Meta-OoD나 PEBAL과 같은 기존 최고 성능(SOTA) 방법을 얼마나 향상시킬 수 있는가?

주요 결과

• RPL은 Fishyscapes, Segment-Me-If-You-Can, RoadAnomaly 데이터셋에서 이전 SOTA 대비 FPR이 10% 향상되고 AuPRC가 7% 향상된다.
• 양성 에너지 손실은 SMIYC-Obstacle 세트에서 엔트로피 기반 최적화 대비 AuPRC를 11.51% 향상시키고 FPR을 1.99% 감소시킨다.
• 비유사도(DS) 정규화를 추가하면 FS-L&F에서 AuPRC가 6.87% 향상되어 이상치 간 분리 능력이 향상됨을 입증한다.
• CoroCL은 SMIYC-Anomaly에서 FPR이 18.47% 낮고 AuPRC가 12.12% 높으며, RoadAnomaly에서는 FPR이 12.92% 낮고 AuPRC가 8.59% 높다.
• RPL은 Fishyscapes Static 및 L&F에서 Meta-OoD의 AuPRC를 15% 향상시키고, SMIYC-Obstacle에서 PEBAL의 AuPRC를 70% 이상 향상시킨다.
• 프로젝터 차원이 RPL 블록 출력 차원(304)과 일치할 때 최적의 성능을 달성하며, 512차원 투영 대비 약 5% AuPRC 향상된다.