[논문 리뷰] Application of Decision Rules for Handling Class Imbalance in Semantic Segmentation

Robin Chan, Matthias Rottmann외 3명|arXiv (Cornell University)|2019. 01. 24.

Anomaly Detection Techniques and Applications참고 문헌 19인용 수 38

한 줄 요약

이 논문은 불균형한 거리 풍경 데이터셋에서 픽셀 단위의 의미 분할에 대해 Bayes(MAP)와 Maximum Likelihood 의사결정 규칙을 비교하고, ML이 희소 클래스의 재현율을 향상시키지만 위양성 증가와 전체 mIoU 저하를 유발함을 보인다.

ABSTRACT

As part of autonomous car driving systems, semantic segmentation is an essential component to obtain a full understanding of the car's environment. One difficulty, that occurs while training neural networks for this purpose, is class imbalance of training data. Consequently, a neural network trained on unbalanced data in combination with maximum a-posteriori classification may easily ignore classes that are rare in terms of their frequency in the dataset. However, these classes are often of highest interest. We approach such potential misclassifications by weighting the posterior class probabilities with the prior class probabilities which in our case are the inverse frequencies of the corresponding classes in the training dataset. More precisely, we adopt a localized method by computing the priors pixel-wise such that the impact can be analyzed at pixel level as well. In our experiments, we train one network from scratch using a proprietary dataset containing 20,000 annotated frames of video sequences recorded from street scenes. The evaluation on our test set shows an increase of average recall with regard to instances of pedestrians and info signs by $25\%$ and $23.4\%$, respectively. In addition, we significantly reduce the non-detection rate for instances of the same classes by $61\%$ and $38\%$.

연구 동기 및 목표

• 자율주행을 위한 의미 분할에서 극심한 클래스 불균형 문제를 다루는 동기를 제시한다.
• 클래스 사전의 로컬라이제이션으로서 픽셀 단위 사전(pix el-wise priors)을 탐구한다.
• 독점적이고 불균형한 데이터셋에서 추론 시 ML 대 Bayes 의사결정 규칙을 평가한다.
• 희소 클래스와 일반 클래스 간의 정밀도, 재현율 및 IoU를 분석한다.
• 불확실성과 능동 학습 기회를 위한 두 의사결정 규칙의 결합 또는 활용에 대한 통찰을 제공한다.

제안 방법

• 학습을 변경하지 않고 추론 시 ML 의사결정 규칙에 편향을 주기 위해 학습 세트에서 계산된 픽셀 단위 사전을 사용한다.
• FRRN 기반 의미 분할에서 픽셀 수준으로 Bayes(MAP)와 Maximum Likelihood 의사결정 규칙을 비교한다.
• 사전에 가우시안 필터로 매끄럽게 하고 0으로 나누는 것을 피하기 위한 하한을 적용한다.
• mIoU, 정밀도, 재현율, IoU 지표를 사용하여 12개 클래스의 200개 테스트 이미지에서 평가한다.
• 추론 시 몬테카를로 드롭아웃을 활용하여 ML 예측을 안정시키고 연결 요소를 후처리한다.

실험 결과

연구 질문

• RQ1 추론 시 Bayes를 ML로 대체하면 불균형한 거리 풍경 데이터셋에서 희소 클래스(PERSON, INFO SIGN 등)의 탐지가 향상되는가?
• RQ2 ML 사용 시 희소 클래스 재현율 향상과 전체 분할 품질(mIoU) 간의 트레이드오프는 무엇인가?
• RQ3 로컬라이즈된 픽셀 단위 사전이 오분류를 완화시킬 수 있는가, 그리고 ML은 표준 Bayes 예측과 어떻게 상호작용하는가?
• RQ4 Bayes와 ML의 혼합 사용이 불확실성을 어떻게 알리고 잠재적 능동 학습 기회에 어떻게 기여하는가?

주요 결과

• ML은 PERSON 및 INFO SIGN과 같은 희소 클래스의 재현율을 Bayes에 비해 증가시킨다.
• 테스트 세트에서 전체 mIoU는 Bayes가 ML보다 높다(Bayes 68.8 대 ML 63.6).
• ML은 희소 클래스에 대해 더 많은 위양성을 생성하여 Bayes보다 정밀도가 낮아진다(예: PERSON: 61.1 Bayes 대 37.4 ML; INFO: 67.6 Bayes 대 36.9 ML).
• ML은 희소 클래스의 비탐지(non-detection) 비율을 줄인다(예: PERSON: Bayes가 약 36%의 실제 객체를 놓치는 반면 ML은 약 17%).
• Bayes는 더 높은 정밀도를 제공하고, ML은 희소 클래스에 대해 더 높은 재현율을 제공한다; 둘을 결합하면 강건한 불확실성 마스크를 만들어 능동 학습을 이끄는 데 도움이 될 수 있다.