[논문 리뷰] Prediction Error Meta Classification in Semantic Segmentation: Detection via Aggregated Dispersion Measures of Softmax Probabilities

Matthias Rottmann, Pascal Colling외 5명|arXiv (Cornell University)|2018. 11. 01.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 소프트맥스 출력 확률의 집계된 산란 측도(예: 엔트로피 및 확률 차이)를 사용하여, 의미 분할 출력의 개별 세그먼트가 정답과 교차하는지 예측하는 메타분류 프레임워크를 제안한다. 이 측도들과 세그먼트 크기, 예측된 클래스를 조합함으로써, IoU=0 대 IoU>0 세그먼트를 구분하는 데 최대 91.55%의 AUROC를 달성하고, 세그먼트 단위 IoU 예측에 대해 최대 84.15%의 R²를 기록하여 기존 방법들을 능가한다.

ABSTRACT

We present a method that "meta" classifies whether seg-ments predicted by a semantic segmentation neural networkintersect with the ground truth. For this purpose, we employ measures of dispersion for predicted pixel-wise class probability distributions, like classification entropy, that yield heat maps of the input scene's size. We aggregate these dispersion measures segment-wise and derive metrics that are well-correlated with the segment-wise IoU of prediction and ground truth. This procedure yields an almost plug and play post-processing tool to rate the prediction quality of semantic segmentation networks on segment level. This is especially relevant for monitoring neural networks in online applications like automated driving or medical imaging where reliability is of utmost importance. In our tests, we use publicly available state-of-the-art networks trained on the Cityscapes dataset and the BraTS2017 dataset and analyze the predictive power of different metrics as well as different sets of metrics. To this end, we compute logistic LASSO regression fits for the task of classifying IoU=0 vs. IoU>0 per segment and obtain AUROC values of up to 91.55%. We complement these tests with linear regression fits to predict the segment-wise IoU and obtain prediction standard deviations of down to 0.130 as well as $R^2$ values of up to 84.15%. We show that these results clearly outperform standard approaches.

연구 동기 및 목표

• 의미 분할 예측에서 개별 세그먼트의 신뢰도를 평가하기 위한 즉시 사용 가능한 후처리 도구를 개발하는 것.
• 특히 자율 주행 및 의료 영상과 같은 안전이 중요한 애플리케이션에서 예측된 세그먼트가 정답과 교차하는지 검출하는 것.
• 소프트맥스 출력에서 유도된 산란 기반 측도의 예측 능력이 세그먼트 단위의 신뢰도 추정에 얼마나 유의미한지 평가하는 것.
• 의미 분할에서 픽셀 단위의 불확실성 측도를 평가하기 위한 프레임워크를 제공하는 것.
• 픽셀 수준의 불확실성보다 세그먼트 수준의 신뢰도에 초점을 맞춰 기존의 불확실성 정량화 방법을 향상시키는 것.

제안 방법

• 소프트맥스 출력 확률에 대해 픽셀 단위의 산란 측도(예: 분류 엔트로피 및 확률 차이)를 계산하여 불확실성 히트맵을 생성한다.
• 이 히트맵은 개별적으로 예측된 세그먼트에 대해 집계되어 엔트로피, 확률 분포, 세그먼트 크기, 예측된 클래스를 포함한 세그먼트 전용 측도를 도출한다.
• 집계된 측도는 로지스틱 LASSO 회귀 모델의 입력 특징으로 사용되어 세그먼트의 정답과의 IoU가 0인지 양수인지 여부를 메타분류한다.
• 동일한 집계된 측도를 입력으로 사용하여 선형 회귀 모델도 학습시켜 실제 세그먼트 단위 IoU를 예측한다.
• 분할된 예측으로 인한 문제를 완화하기 위해 조정된 IoU 메트릭(이하 IoU_adj)을 도입하여, 정답 구성 요소가 분리된 경우에도 더 강건한 성능을 확보한다.
• 모든 방법이 소프트맥스 출력과 정답만을 사용하며, 도시스케이프 및 BraTS2017 데이터셋에서 최신 기술 기반 네트워크를 활용해 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 소프트맥스 확률의 집계된 산란 측도는 예측된 세그먼트가 정답과 교차하는지 신뢰성 있게 예측할 수 있는가?
• RQ2 특히 분할된 예측과 같은 어려운 케이스에서 이러한 측도는 실제 세그먼트 단위 IoU와 얼마나 잘 상관되는가?
• RQ3 이 방법은 이진 분류(IoU=0 대 IoU>0)와 회귀(IoU 값 예측) 작업 모두에서 높은 성능을 달성할 수 있는가?
• RQ4 조정된 IoU 메트릭(IoU_adj)을 사용할 경우 표준 IoU 대비 세그먼트 수준의 신뢰도 추정에서 성능 향상이 이루어지는가?
• RQ5 이 방법은 의미 분할에서 새로운 픽셀 단위의 불확실성 측도를 평가하거나 비교하는 데 얼마나 확장 가능한가?

주요 결과

• 로지스틱 LASSO 회귀 모델은 IoU가 0인 세그먼트와 양수인 세그먼트를 구분하는 데 최대 91.55%의 AUROC를 기록하여 강력한 검출 능력을 입증하였다.
• 집계된 측도를 입력으로 사용한 선형 회귀 모델은 세그먼트 단위 IoU를 표준편차 최소 0.130로 예측했으며, R² 값은 최대 84.15%에 달했다.
• 조정된 IoU(IoU_adj) 메트릭은 선형 회귀 작업에서 표준 IoU 대비 약 2%의 R² 향상을 가져왔다.
• 픽셀 수준의 불확실성보다 세그먼트 수준의 신뢰도에 초점을 맞춘 점에서, 이 방법은 기존의 불확실성 정량화 기법을 능가한다.
• 이 프레임워크는 소프트맥스 출력에서 파생된 어떤 불확실성 히트맵과도 호환되어, 새로운 불확실성 추정 방법과 즉시 통합이 가능하다.
• 소스 코드는 공개되어 있어 재현성과 활성 학습, 레이블 오류 검출 분야의 향후 개발을 지원한다.