[논문 리뷰] Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection

Yuxiang Zhang, Sachin Mehta외 1명|arXiv (Cornell University)|2021. 01. 21.

Advanced Neural Network Applications참고 문헌 30인용 수 17

한 줄 요약

이 논문은 mIOU와 같은 픽셀 기반 지표의 한계를 보완하기 위해 영역 기반의 과분할 및 과소분할 지표(ROM 및 RUM)를 제안한다. 이는 의미 분할에서 설명 가능성과 모델 선택을 향상시키기 위한 것이다. 이 방법은 예측이 지도 데이터의 영역에서 얼마나 벗어나 있는지를 측정하여 영역 수준의 정확도를 정량화하며, 경량 모델이 픽셀 정확도 손실이 아닌 구조적 편향으로 인해 종종 과소분할됨을 드러낸다.

ABSTRACT

Semantic segmentation aims to robustly predict coherent class labels for entire regions of an image. It is a scene understanding task that powers real-world applications (e.g., autonomous navigation). One important application, the use of imagery for automated semantic understanding of pedestrian environments, provides remote mapping of accessibility features in street environments. This application (and others like it) require detailed geometric information of geographical objects. Semantic segmentation is a prerequisite for this task since it maps contiguous regions of the same class as single entities. Importantly, semantic segmentation uses like ours are not pixel-wise outcomes; however, most of their quantitative evaluation metrics (e.g., mean Intersection Over Union) are based on pixel-wise similarities to a ground-truth, which fails to emphasize over- and under-segmentation properties of a segmentation model. Here, we introduce a new metric to assess region-based over- and under-segmentation. We analyze and compare it to other metrics, demonstrating that the use of our metric lends greater explainability to semantic segmentation model performance in real-world applications.

연구 동기 및 목표

• 과도한 분할 및 과소분할과 같은 영역 수준의 오류를 고려하지 못하는 의미 분할의 설명 가능한 평가 지표 부족 문제를 해결한다.
• 낮은 픽셀 기반 오차에도 불구하고 mIOU와 같은 표준 지표가 영역 수준의 분할 오류를 감지하지 못함을 밝힌다.
• 과분할과 과소분할을 별도로 정량화할 수 있는 영역 기반 평가 프레임워크를 개발하여 더 나은 모델 비교 및 선택을 가능하게 한다.
• 특히 자원 제약 환경에서 경량 모델을 사용하는 실생활 응용 분야(예: 보행자 환경 매핑)에 실용적인 해결책을 제공한다.
• 계산 효율성과 분할 정확도를 균형 잡는 모델 선택을 가능하게 하며, 특히 자원 제약이 있는 환경에서 경량 모델에 적합하다.

제안 방법

• 예측 영역이 다수의 지도 데이터 영역과 겹치는 비율을 과분할 지표(ROM)로 정의하여 잘못된 분할을 나타낸다.
• 지도 데이터 영역이 다수의 예측 영역에 의해 겹쳐지는 비율을 과소분할 지표(RUM)로 정의하여 잘못된 융합을 나타낸다.
• 분할 마스크에서 예측 및 지도 데이터 영역을 추출하기 위해 연결 성분 분석을 사용한다.
• 예측 영역과 지도 데이터 영역 간의 교차율(IoU)을 사용하여 영역 수준의 일치도를 평가함으로써 ROM과 RUM을 계산한다.
• 표준 지표인 mIOU, Dice, 픽셀 정확도와 함께 ROM과 RUM을 모델 평가 파이프라인에 통합한다.
• 다양한 데이터셋(PASCAL VOC, Cityscapes, ADE20K)과 모델 아키텍처(중량형 및 경량형)를 대상으로 적용하여 정확도와 유용성을 검증한다.

실험 결과

연구 질문

• RQ1 mIOU와 같은 표준 픽셀 기반 평가 지표가 과분할 및 과소분할과 같은 영역 수준의 분할 오류를 어떻게 간과하는가?
• RQ2 ROM과 RUM이 중량형 및 경량형 모델 간의 성능 차이를 어느 정도 설명할 수 있는가?
• RQ3 실생활 응용에서 픽셀 기반 지표보다 ROM 및 RUM과 같은 영역 기반 지표가 모델 행동에 대해 더 설명 가능한 통찰을 제공할 수 있는가?
• RQ4 ROM과 RUM이 보행자 환경에서 정확한 경로 매핑과 같은 후행 응용 요구사항과 어떻게 상관관계가 있는가?
• RQ5 경계의 모호성과 비결정적 이미지 경계가 영역 기반 평가 지표의 정확도에 어떤 영향을 미치는가?

주요 결과

• PASCAL VOC에서 픽셀 기반 분할 성능이 거의 완벽한 사례에서 mIOU는 유의미한 오차를 나타냈지만, ROM과 RUM은 과분할 및 과소분할이 전혀 없음을 정확히 반영하여 영역 수준의 정확도 민감도를 입증했다.
• Cityscapes 데이터셋에서 DRN과 유사한 ROM을 보였음에도 ESPNetv2는 5포인트 높은 RUM을 기록하여, 성능 저하의 주요 원인이 과소분할이었음을 시사했다.
• ADE20K에서 MobileNetv2는 PSPNet-ResNet101보다 훨씬 높은 ROM을 보였으며, 이는 성능 저하의 주요 원인이 픽셀 수준의 오차가 아니라 과분할 때문임을 드러냈다.
• 신뢰도 임계값 0.6에서 MobileNetv2는 과분할 오차를 줄였지만 과소분할 오차는 악화시키지 않았다. 이는 임계값 조정이 영역 수준의 오차를 완화시킬 수 있음을 보여준다.
• 지표들은 경량 모델인 ESPNetv2와 MobileNetv2가 주로 기둥, 사람과 같은 핵심 객체를 과소분할 또는 과분할하는 경향이 있음을 드러내었으며, 이는 mIOU에서는 감지되지 않는 중요한 문제점이다. 이는 보행자 탐색 작업에 매우 중요하다.
• ROM과 RUM은 경계 변동에 대해 강건하며, 레이블링과 자연 이미지 경계가 모두 비결정적이므로 실생활 입력에 대해 안정적인 성능을 보였다.