[논문 리뷰] AttrSeg: Open-Vocabulary Semantic Segmentation via Attribute Decomposition-Aggregation

Chaofan Ma, Yuhuan Yang외 4명|arXiv (Cornell University)|2023. 08. 31.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 모호하거나 새로운 클래스 이름을 다양한 특성 기술로 분해하고 계층적으로 통합함으로써 실제 텍스트 오류 상황에서도 분할 성능을 향상시키는 새로운 오픈-보기어드 문맥 세분화 프레임워크인 AttrSeg를 제안한다. 특성 수준의 추론을 활용함으로써 기존 최고 성능 수준의 성능을 달성하며, 부정확하거나 알려지지 않은 카테고리 이름에 대해서도 강건성을 입증한다.

ABSTRACT

Open-vocabulary semantic segmentation is a challenging task that requires segmenting novel object categories at inference time. Recent studies have explored vision-language pre-training to handle this task, but suffer from unrealistic assumptions in practical scenarios, i.e., low-quality textual category names. For example, this paradigm assumes that new textual categories will be accurately and completely provided, and exist in lexicons during pre-training. However, exceptions often happen when encountering ambiguity for brief or incomplete names, new words that are not present in the pre-trained lexicons, and difficult-to-describe categories for users. To address these issues, this work proposes a novel attribute decomposition-aggregation framework, AttrSeg, inspired by human cognition in understanding new concepts. Specifically, in the decomposition stage, we decouple class names into diverse attribute descriptions to complement semantic contexts from multiple perspectives. Two attribute construction strategies are designed: using large language models for common categories, and involving manually labeling for human-invented categories. In the aggregation stage, we group diverse attributes into an integrated global description, to form a discriminative classifier that distinguishes the target object from others. One hierarchical aggregation architecture is further proposed to achieve multi-level aggregations, leveraging the meticulously designed clustering module. The final results are obtained by computing the similarity between aggregated attributes and images embeddings. To evaluate the effectiveness, we annotate three types of datasets with attribute descriptions, and conduct extensive experiments and ablation studies. The results show the superior performance of attribute decomposition-aggregation.

연구 동기 및 목표

• 추론 시 완벽하고 어휘에 통합된, 완전한 텍스트 기반 카테고리 이름을 전제로 하는 기존 오픈-보기어드 세분화 방법의 한계를 해결한다.
• 실제 시각 응용 프로그램에서 발생하는 어휘적 모호성, 신조어, 이름을 지을 수 없거나 기술하기 어려운 카테고리와 같은 현실 도메인 과제를 극복한다.
• 카테고리를 다수의 특성으로 분해하고 이를 통합된, 구별 가능한 표현으로 조합함으로써 인간의 인지적 이해 방식을 모방하는 프레임워크를 개발한다.
• 계층적 집합 및 필터링 메커니즘을 통해 훈련 및 추론 단계에서 노이즈가 있거나 잘못된 특성 입력에 대한 모델의 강건성을 향상시킨다.

제안 방법

• 일반적인 카테고리에 대해서는 대규모 언어 모델을 활용해 보편적인 특성 기술로, 인간이 창안하거나 드문 카테고리에 대해서는 수동 레이블링을 통해 원본 클래스 이름을 다양한 특성 기술로 분해한다.
• 다단계에서 특성들을 군집 모듈을 사용해 그룹화함으로써 글로벌하고 구별 가능한 클래스 표현을 형성하는 계층적 집합 아키텍처를 구성한다.
• 집합된 특성 표현과 이미지 임베딩 간의 유사도를 계산하여 세분화 마스크를 생성한다.
• 추론 단계에서 시각-언어 모델(VLM) 기반 필터링 전략을 통합하여 관련 없거나 잘못된 특성을 억제한다.
• 모델을 훈련할 때 각 카테고리별로 무작위로 선택된 특성들을 사용하여, 부족하거나 잘못된 특성 입력에 대한 강건성을 향상시킨다.
• 특성들이 점진적으로 통합되는 다단계 집합 파이프라인을 활용하며, 제거 분석 결과에서 네 단계에서 최적의 성능을 기록한다.

실험 결과

연구 질문

• RQ1 특성 분해는 모호하거나 불완전한 텍스트 기반 카테고리 기술 상황에서 오픈-보기어드 세분화 성능을 향상시킬 수 있는가?
• RQ2 다양한 특성의 계층적 집합은 새로운 카테고리나 신조어 기반 카테고리에 대한 모델 일반화 및 강건성에 어떻게 기여하는가?
• RQ3 추론 단계에서 노이즈가 있거나 잘못된 특성이 제공될 경우, 모델의 성능 유지 능력은 어느 정도인가?
• RQ4 색상, 형태, 부분, 기타 등 특성의 다양성이 오픈-보기어드 환경에서 세분화 성능에 어떤 영향을 미치는가?
• RQ5 특성 수와 집합 단계 수는 최종 세분화 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• AttrSeg는 전체 특성 입력 조건에서 COCO-OVSS 벤치마크에서 mIoU 59.5를 기록하며, 현실적인 오픈-보기어드 조건 하에서 기존 방법들을 능가하는 성능을 확보한다.
• 특성 수가 15에서 5로 감소하더라도 모델은 강건성을 유지하며, mIoU는 59.5에서 55.1로 떨어질 뿐이지, 불완전한 기술에 대한 저항력이 뛰어나다.
• 네 단계의 집합이 최적의 성능을 내며, 다섯 단계로 증가하면 저특성 설정에서 mIoU가 감소함을 확인하여 과다 집합이 성능에 악영향을 준다는 것을 시사한다.
• 잘못된 특성(예: 누운 개에 대해 '사지가 네 개인다')이 존재하더라도 모델은 59.1 mIoU를 기록하며 오류에 대한 내성적 내구성을 입증한다.
• 잘못된 특성(예: '개'에 대해 '빨간색')이 포함되면 성능이 크게 저하되며(mIoU 55.4로 감소), 하지만 VLM 기반 필터링을 통해 성능이 58.9 mIoU로 복귀함을 확인하여 필터링 전략의 효과성을 입증한다.
• 특성 다양성은 크게 기여한다: 색상, 형태, 부분, 기타 특성들을 모두 조합하면 mIoU가 색상만 사용했을 때의 30.8에서 52.3으로 상승하며, 다각도 기반 기술의 가치를 입증한다.