[논문 리뷰] What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation

Benedikt Blumenstiel, Johannes Jakubik외 2명|arXiv (Cornell University)|2023. 06. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 의료, 지구 관측, 농업, 공학 분야에서 나온 22개의 다양한 데이터셋을 바탕으로 다중 도메인 제로샷 세그멘테이션을 평가하는 MESS 벤치마크를 소개한다. 8개의 최신 기술 모델을 평가한 결과, 모델 성능은 클래스의 의미적 유사도와 센서 유형에 의해 크게 영향을 받으며, 오라클 경계 상자(박스)를 사용할 경우 텍스트-마스크 모델가 비전-언어 모델과 SAM을 조합한 모델보다 성능이 뛰어나다는 것이 밝혀졌다.

ABSTRACT

While semantic segmentation has seen tremendous improvements in the past, there are still significant labeling efforts necessary and the problem of limited generalization to classes that have not been present during training. To address this problem, zero-shot semantic segmentation makes use of large self-supervised vision-language models, allowing zero-shot transfer to unseen classes. In this work, we build a benchmark for Multi-domain Evaluation of Semantic Segmentation (MESS), which allows a holistic analysis of performance across a wide range of domain-specific datasets such as medicine, engineering, earth monitoring, biology, and agriculture. To do this, we reviewed 120 datasets, developed a taxonomy, and classified the datasets according to the developed taxonomy. We select a representative subset consisting of 22 datasets and propose it as the MESS benchmark. We evaluate eight recently published models on the proposed MESS benchmark and analyze characteristics for the performance of zero-shot transfer models. The toolkit is available at https://github.com/blumenstiel/MESS.

연구 동기 및 목표

• 제로샷 세그멘테이션 분야에서 다양한 도메인 간 종합적 평가의 부족, 특히 도메인 외 일반화 능력에 대한 문제를 해결하기 위해.
• 제로샷 모델 성능에 영향을 미치는 작업 수준의 특성들—예를 들어 클래스 의미적 유사도나 센서 유형—을 규명하기 위해.
• 도메인 내 설정을 넘어서 제로샷 세그멘테이션 모델을 평가하기 위한 표준화된 벤치마크(MESS)를 제공하기 위해.
• 텍스트-마스크, 포인트-마스크, 박스-마스크 접근 방식을 비교하고, 특히 SAM 및 거시적 모델과의 조합에서의 성능을 분석하기 위해.
• 어휘 선택과 프롬프트 엔지니어링이 세그멘테이션 정확도에 미치는 영향을 분석함으로써 향후 모델 설계를 안내하기 위해.

제안 방법

• 저자들은 도메인, 센서 유형, 애너테이션 스타일을 기반으로 120개의 데이터셋을 분류하고, MESS 벤치마크에 사용할 22개의 대표적 데이터셋을 선별했다.
• CAT-Seg-L, SAN-L, OVSeg-L, Grounded-SAM 등 최근의 8개의 제로샷 세그멘테이션 모델을 MESS 벤치마크에서 평가했다.
• 평가 초점은 개방형 어휘 세그멘테이션(OVSS)이며, 텍스트-마스크 모델와 CLIP와 같은 비전-언어 모델, SAM 기반 접근 방식을 비교한다.
• 연구에는 정량적 지표(예: mIoU)와 의료 영상, 위성, 공학 분야 등 다양한 도메인의 예측에 대한 정성적 분석을 포함한다.
• 국소화 정확도의 영향을 분리하기 위해 오라클 버전의 SAM을 사용했으며, Grounding DINO에서 예측한 경계 상자와 진짜 경계 상자를 비교했다.
• 저자들은 텍스트 프롬프트 설계의 영향을 분석하여, 일반적인 용어와 도메인 특화된 클래스 레이블 간의 성능 차이를 비교했다.

Figure 2: mIoU results for large models on a log scale. The datasets are grouped by their domain and sorted by supervised performance.

실험 결과

연구 질문

• RQ1 의료, 지구 관측, 농업과 같은 다양한 실제 도메인—의료 영상, 위성 영상, 공학 분야 등에서 제로샷 세그멘테이션 모델의 성능은 어떠한가?
• RQ2 클래스 의미적 유사도나 센서 모odal리티와 같은 작업 수준의 특성이 모델 성능에 가장 크게 영향을 미치는가?
• RQ3 텍스트 프롬프트 선택(예: 일반적 vs. 도메인 특화 용어)이 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ4 텍스트-마스크 모델는 비전-언어 모델과 SAM을 조합한 모델보다 제로샷 일반화 능력에서 뛰어나게 성능을 내는가?
• RQ5 정확한 객체 국소화(경계 상자 통해)는 제로샷 세그멘테이션 성능 향상에 얼마나 기여하는가?

주요 결과

• CAT-Seg-L과 같은 텍스트-마스크 모델는 오라클 경계 상자를 사용한 Grounded-SAM보다 예측 경계 상자를 사용할 경우 성능이 뛰어나다.
• 오라클 SAM의 구현은 완벽한 국소화를 제공하여 많은 지도 학습 세그멘테이션 모델보다 뛰어난 성능을 보이며, 국소화 정확도의 중요성을 입증한다.
• 자연적 시각 스펙트럼에서 학습한 모델들은 열 또는 비가시 센서 데이터에 대해 크게 어려움을 겪으며, 이는 교차 센서 일반화에 있어 주요 과제임을 시사한다.
• 클래스 간 의미적 유사도(예: 새 종류 또는 의료 기구)는 성능에 부정적 영향을 미치며, 모델이 비슷한 클래스를 혼동하는 경향이 있다.
• 일반적인 클래스 레이블(예: '도구' 등)을 사용할 경우 도메인 특화된 용어(예: '외과 기구')를 사용할 때보다 훨씬 뛰어난 세그멘테이션 성능을 보인다.
• MESS 벤치마크는 현재 제로샷 모델가 의료 영상 및 공학 분야와 같은 도메인에 대해선 일반화 능력이 떨어지며, 도메인 내 데이터셋에서는 뛰어난 성능를 보임을 드러냈다.

Figure 3: mIoU results of large models in relative comparison to the supervised mIoU on a log scale. 100 is equal to the supervised mIoU.