[논문 리뷰] Per-Pixel Classification is Not All You Need for Semantic Segmentation

Bowen Cheng, Alexander G. Schwing외 1명|arXiv (Cornell University)|2021. 07. 13.

Advanced Neural Network Applications참고 문헌 50인용 수 167

한 줄 요약

이 논문은 단일 아키텍처, 손실 및 학습 절차를 사용하여 시맨틱- 및 인스턴스 레벨 세분화를 통합하는 마스크-분류 모델인 MaskFormer를 소개하며, 큰 클래스 어휘를 가진 데이터셋에서 픽셀 단위 기준선보다 성능이 우수합니다.

ABSTRACT

Modern approaches typically formulate semantic segmentation as a per-pixel classification task, while instance-level segmentation is handled with an alternative mask classification. Our key insight: mask classification is sufficiently general to solve both semantic- and instance-level segmentation tasks in a unified manner using the exact same model, loss, and training procedure. Following this observation, we propose MaskFormer, a simple mask classification model which predicts a set of binary masks, each associated with a single global class label prediction. Overall, the proposed mask classification-based method simplifies the landscape of effective approaches to semantic and panoptic segmentation tasks and shows excellent empirical results. In particular, we observe that MaskFormer outperforms per-pixel classification baselines when the number of classes is large. Our mask classification-based method outperforms both current state-of-the-art semantic (55.6 mIoU on ADE20K) and panoptic segmentation (52.7 PQ on COCO) models.

연구 동기 및 목표

• 픽셀 단위 분류를 넘어서는 통합 세분화 패러다임을 제안합니다.
• 동일한 학습 설정으로 시맨틱 및 인스턴스 수준 세분화를 다룰 수 있는 간단한 마스크 분류 모델(MaskFormer)을 제안합니다.
• 클래스 수가 증가함에 따라 마스크 분류가 픽셀 단위 기준선보다 우수할 수 있음을 보여줍니다.
• MaskFormer로 ADE20K(시맨틱) 및 COCO 팬오픽 데이터셋(팬오픽)에서 최첨단 결과를 보여줍니다.
• 기존 픽셀 단위 분류 백본을 활용할 수 있는 효율적이고 유연한 아키텍처를 제공합니다.

제안 방법

• 시맨틱 세분화를 클래스와 연관된 이진 마스크 집합을 예측하는 마스크 분류로 형식화합니다.
• Transformer 디코더를 사용해 N 개의 세그먼트 임베딩을 생성하고, 세분화 헤드는 클래스 점수를 출력하며 MLP는 N 개의 마스크 임베딩을 생성합니다.
• 픽셀별 임베딩과 마스크 임베딩 간의 내적(dot-product)과 시그모이드를 거쳐 이진 마스크를 계산합니다; 작업에 따라 마스크를 병합하거나 집계합니다.
• 교차 엔트로피 분류 손실과 이진 마스크 손실(초점 손실 + 다이스)을 결합한 공유 마스크-분류 손실로 학습합니다.
• 가변 수의 마스크를 예측하고 예측을 실제 세그먼트와 정렬하기 위해 이진 매칭을 선택적으로 사용합니다.
• 최적의 매칭 마스크-클래스 쌍에 픽셀을 배정하고 시맨틱/팬오픽 출력에 대해 후처리하여 추론합니다.

실험 결과

연구 질문

• RQ1 단일 마스크-분류 모델이 시맨틱 세분화를 위한 픽셀 단위 분류를 대체할 수 있습니까?
• RQ2 MaskFormer가 동일한 모델, 손실 및 학습 파이프라인으로 시맨틱 및 인스턴스 수준(팬오픽) 세분화를 통합합니까?
• RQ3 클래스 수가 증가함에 따라 마스크 분류는 픽셀 단위 기준선과 어떻게 비교됩니까?
• RQ4 MaskFormer에서 가변 매칭과 고정 매칭을 사용하는 것의 영향을 어떻게 나타냅니까?
• RQ5 다양한 데이터셋(ADE20K, COCO-Stuff, Cityscapes 등)에 MaskFormer를 적용할 때 정확도와 효율성의 트레이드오프는 무엇입니까?

주요 결과

• MaskFormer는 어휘 수가 큰 데이터셋에서 픽셀 단위 분류 기준선보다 우수합니다(예: ADE20K-Full 847 클래스).
• MaskFormer는 ADE20K에서 시맨틱 세분화의 최첨단 성능(mIoU 55.6, Swin-Transformer 백본)을 달성합니다.
• MaskFormer는 COCO에서 팬오픽 세분화의 최첨단 성능(PQ 52.7)을 달성합니다.
• MaskFormer는 무거운 보조 손실 없이도 더 단순한 손실을 사용하면서 DETR 스타일 마스크 접근법과 대등하거나 능가합니다.
• MaskFormer는 대형 클래스 어휘 데이터셋에서 인식 품질(RQ)이 더 우수한 반면 픽셀 수준의 세분화 품질(SQ)에서는 약간의 트레이드오프가 있습니다.
• 이 방법은 클래스 수가 증가함에 따라 정확도를 높이고, 일부 픽셀 기반 기준선에 비해 파라미터 수와 FLOPs를 감소시키는 경향이 있습니다.