[논문 리뷰] Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union

Zifu Wang, Maxim Berman외 7명|arXiv (Cornell University)|2023. 10. 30.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 사이즈/레이블 편향을 줄이기 위해 미세한 수준의 평균 IoU 변형(I, C, K)과 worst-case 지표를 도입하고, 12개 데이터셋에서 15개 모델을 분석하는 대규모 벤치마크를 제공합니다.

ABSTRACT

Semantic segmentation datasets often exhibit two types of imbalance: extit{class imbalance}, where some classes appear more frequently than others and extit{size imbalance}, where some objects occupy more pixels than others. This causes traditional evaluation metrics to be biased towards extit{majority classes} (e.g. overall pixel-wise accuracy) and extit{large objects} (e.g. mean pixel-wise accuracy and per-dataset mean intersection over union). To address these shortcomings, we propose the use of fine-grained mIoUs along with corresponding worst-case metrics, thereby offering a more holistic evaluation of segmentation techniques. These fine-grained metrics offer less bias towards large objects, richer statistical information, and valuable insights into model and dataset auditing. Furthermore, we undertake an extensive benchmark study, where we train and evaluate 15 modern neural networks with the proposed metrics on 12 diverse natural and aerial segmentation datasets. Our benchmark study highlights the necessity of not basing evaluations on a single metric and confirms that fine-grained mIoUs reduce the bias towards large objects. Moreover, we identify the crucial role played by architecture designs and loss functions, which lead to best practices in optimizing fine-grained metrics. The code is available at \href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses}.

연구 동기 및 목표

• 전통적인 per-dataset IoU의 편향을 해결하기 위해 미세한 수준의 mIoU 지표(I, C, K)와 해당하는 최악의 경우 변형을 제안합니다.
• 미세한 수준의 지표가 대형 객체에 대한 편향을 줄이고 모델 및 데이터셋 감사에서 더 풍부한 통계적 통찰력을 제공함을 보여줍니다.
• 안전-critical 애플리케이션에서 더 강건한 방법 비교를 가능하게 하기 위해 mIoU^D와 함께 미세한 수준의 지표를 보고하도록 권장합니다.

제안 방법

• 개별 이미지(l) 및 개별 클래스(IoU 변형)와 개별 인스턴스(K) 변형(mIoU^I, mIoU^C, mIoU^K)을 정의하여 크기 및 클래스 편향을 줄입니다.
• mIoU^K 구성에서 인스턴스 크기에 비례하도록 이미지 수준 FP를 분배하여 인스턴스 수준의 거짓 양성(FP)을 근사합니다.
• hard 케이스를 포착하기 위한 worst-case 지표 mIoU^{C^q}와 그 집계(mIoU^{C^{ar q}}, mIoU^{C^5}, mIoU^{C^1})를 제안합니다.
• 새로운 지표 하에서 아키텍처와 손실 함수를 비교하기 위해 12개 데이터셋에서 네트워크 15개를 처음부터 학습하여 벤치마크를 수행합니다.
• 미세한 수준의 지표를 최적화하는 데 있어 아키텍처 선택과 손실 함수가 어떻게 정렬되는지(Jaccard 손실 변형 등)를 조사합니다.
• 멀티스케일 특징 집계 및 미세한 수준의 평가 지표에 맞춘 손실 정렬에 대한 모범 사례를 제공합니다.

실험 결과

연구 질문

• RQ1 미세한 IoU 지표(I, C, K)가 per-dataset mIoU에 비해 대형 객체에 대한 편향을 덜 유발합니까?
• RQ2 최악의 지표(mIoU^{C^q})가 도전적인 이미지나 인스턴스에서 분할 모델의 신뢰도와 견고성을 어떻게 드러냅니까?
• RQ3 미세한 수준의 지표를 가장 효과적으로 최적화하는 아키텍처 설계와 손실 함수는 무엇입니까?
• RQ4 인스턴스 라벨이 없는 경우 mIoU^C가 인스턴스 수준 평가의 실용적 대리 지표가 될 수 있습니까?
• RQ5 다양한 데이터셋에서 미세한 수준의 지표를 사용할 때 대규모 벤치마크에서 어떤 통찰이 나타납니까?

주요 결과

• 미세한 mIoU(I, C, K)가 대형 객체에 대한 편향을 줄이고 전통적인 mIoU^D보다 더 풍부한 통계 정보를 제공합니다.
• mIoU^C가 인스턴스 수준 성능을 밀접하게 추적하며 인스턴스 라벨이 없을 때 인스턴스 수준 지표의 대리 지표로 작용할 수 있습니다.
• 최악의 지표(mIoU^{C^q})는 많은 모델에서 성능이 현저히 낮게 나타나, 평균 지표로는 포착되지 않는 어려운 사례를 강조합니다.
• 다중 스케일 특징 집계와 Jaccard 유형 목표에 맞춘 손실이 CE만으로보다 미세한 지표를 더 크게 향상시킵니다.
• 벤치마크 결과는 모든 지표와 데이터셋에서 단일 모델이 지배하지 않음을 시사하며, 여러 지표를 이용한 포괄적 평가의 필요성을 강조합니다.