[논문 리뷰] Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion

Hao Zhou, Tiancheng Shen외 5명|arXiv (Cornell University)|2023. 11. 06.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 이산적 분류 기반 평가 지표의 한계를 보완하기 위해 의미 유사도를 활용한 소프트 스코어로 이진 true positive를 대체하는 새로운 평가 지표인 Open mIoU, Open AP, Open PQ를 제안한다. WordNet 경로 유사도를 활용함으로써 인간의 판단과 더 잘 일치하며, 특히 zero-shot 및 cross-dataset 설정에서 모델의 일반화 능력을 보다 일관되게 평가할 수 있다.

ABSTRACT

In this paper, we highlight a problem of evaluation metrics adopted in the open-vocabulary segmentation. That is, the evaluation process still heavily relies on closed-set metrics on zero-shot or cross-dataset pipelines without considering the similarity between predicted and ground truth categories. To tackle this issue, we first survey eleven similarity measurements between two categorical words using WordNet linguistics statistics, text embedding, and language models by comprehensive quantitative analysis and user study. Built upon those explored measurements, we designed novel evaluation metrics, namely Open mIoU, Open AP, and Open PQ, tailored for three open-vocabulary segmentation tasks. We benchmarked the proposed evaluation metrics on 12 open-vocabulary methods of three segmentation tasks. Even though the relative subjectivity of similarity distance, we demonstrate that our metrics can still well evaluate the open ability of the existing open-vocabulary segmentation methods. We hope that our work can bring with the community new thinking about how to evaluate the open ability of models. The evaluation code is released in github.

연구 동기 및 목표

• 기존의 폐쇄집합 평가 지표가 예측된 카테고리와 진짜 카테고리 간의 의미 유사도를 忽略하는 데 기인한 핵심 결함을 특정한다.
• 의미 유사도 측정 방법 11종(WordNet, 텍스트 임베딩(GloVe, FastText, Word2Vec), 언어 모델(CLIP, BERT, GPT, T5))을 비교 분석하여 개방형 분할 평가에 적합한지를 조사한다.
• 개방형 분할 작업(의미 분할, 인스턴스 분할, 패노픽스 분할)에 특화된 새로운 평가 지표인 Open mIoU, Open AP, Open PQ를 설계한다.
• 12개의 최신 개방형 분할 모델을 세 가지 작업에 대해 벤치마킹하여 제안된 지표의 효과성과 인간 인식과의 일치성을 검증한다.
• 엄격한 카테고리 일치 기반 평가에서 벗어나 의미 유사도를 평가 파이프라인에 통합함으로써 모델 일반화 평가의 패러다임 전환을 촉진한다.

제안 방법

• 카테고리에 관계없이 예측 마스크와 진짜 마스크 간 최고의 IoU를 찾는 class-agnostic 매칭 전략을 사용하여 엄격한 카테고리 기반 매칭을 피한다.
• 이진 true positive(TP), false positive(FP), false negative(FN) 스코어를 예측 및 진짜 카테고리 간 의미 유사도 기반 소프트 스코어로 대체한다.
• 의미 유사도 측정에 있어 WordNet 경로 유사도를 선호하는 이유는 중간 수준의 값, 다의어 구분 능력, 데이터 독립성, 인간 인지와의 일치성 때문이다.
• 의미 분할에 대한 Open mIoU, 인스턴스 분할에 대한 Open AP, 패노픽스 분할에 대한 Open PQ를 각각 구성하며, IoU와 의미 유사도 기반 스코어를 통합한다.
• COO와 ADE20K에서 in-dataset 및 cross-dataset 설정을 포함한 세 가지 작업에 대해 지표를 적용하고, 다양한 유사도 방법(Path, GloVe, T5)에 대한 분석 실험을 실시한다.
• 1,000명의 참가자가 참여한 사용자 연구를 통해 Path 유사도 방법이 다른 유사도 측정 방법보다 인간 판단과의 일치도에서 높은 선호도를 보임을 검증한다.

실험 결과

연구 질문

• RQ1 예측이 진짜 카테고리와 의미적으로 유사하나 정확히 일치하지 않을 경우, 전통적인 폐쇄집합 평가 지표는 어떻게 분할 모델의 진정한 개방세계 성능을 간과하는가?
• RQ2 11종의 단어 유사도 측정 방법 중에서(WordNet, 텍스트 임베딩, 사전 학습된 언어 모델) 의미 유사도 평가에 있어 해석 가능성, 강건성, 인간 인식과의 일치도를 가장 잘 균형 잡은 방법은 무엇인가?
• RQ3 제안된 개방형 지표들(Open mIoU, Open AP, Open PQ)은 zero-shot 및 cross-dataset 설정에서 기존의 일반 지표에 비해 평가 일관성과 인간 인식과의 일치도를 얼마나 향상시키는가?
• RQ4 신규 지표는 분할 품질과 분류 정확도에 얼마나 민감한가? 특히 잘못된 레이블 예측이 의미적으로 유사한 경우에 어떻게 반응하는가?
• RQ5 제안된 지표들은 의미 분할, 인스턴스 분할, 패노픽스 분할 등 다양한 분할 작업과 탐지 작업으로 일반화 가능한가? 다양한 데이터셋과 IoU 임계값에서 성능 향상은 얼마나 안정적인가?

주요 결과

• 1,000명의 참가자가 참여한 사용자 연구에서 WordNet의 Path 유사도 방법이 인간 만족도 평균 6.12점(10점 만점)을 기록하여 GloVe(3.05점)와 T5(4.29점)를 압도적으로 앞서며 인간 판단과의 일치도가 높다고 평가되었다.
• Open AP는 인스턴스 분할에서 in-dataset 및 cross-dataset 설정 모두에서 기존 AP를 뛰어넘었으며, 특히 새로운 클래스에서 더 큰 향상이 관찰되어 의미 유사도에 민감한 것으로 확인되었다.
• Open RQ는 목표 데이터셋(ADE20K)에서 원천 데이터셋(COCO)보다 더 큰 향상을 보였으며, 이는 의미 거리에 민감하고 개방세계 설정에서 인식 품질을 잘 포착할 수 있음을 검증한다.
• Open PQ는 분할 품질에 매우 민감하게 반응하여, 의미 유사도가 높은 경우 잘못된 레이블을 가진 마스크 쌍에도 높은 스코어를 할당하는 것으로 나타나, 개방형 환경에서의 오분류에 대해 강건함을 입증했다.
• 분석 실험 결과, Path 방법을 사용한 Open PQ는 중간 수준의 신뢰성 있는 결과를 도출했고, GloVe와 T5는 인식 품질을 과대평가하는 경향이 있어 임베딩 기반 유사도 측정 방법에 잠재적 편향이 있음을 시사했다.
• 특히 Open AP와 Open PQ는 다양한 IoU 임계값과 작업(객체 탐지 포함)에서 안정적인 향상을 보이며 광범위한 적용 가능성과 강건성을 입증했다.