[논문 리뷰] Panoptic SegFormer: Delving Deeper into Panoptic Segmentation with Transformers

Zhiqi Li, Wenhai Wang외 6명|arXiv (Cornell University)|2021. 09. 08.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

Panoptic SegFormer는 세 가지 핵심 기여를 통해 트랜스포머 기반의 패ノ픽 세그멘테이션 프레임워크를 제안한다: 더 빠른 수렴과 더 나은 마스크 품질을 위한 깊이 있는 감독을 적용한 마스크 디코더, 사물과 스태프 쿼리를 분리하여 간섭을 줄이는 쿼리 디커���깅 전략, 추가 비용 없이 정확도를 향상시키는 마스크 단위 후처리 방법. 이 방법은 COCO test-dev에서 56.2% PQ를 달성하여 이전 모델보다 훨씬 적은 파라미터로 새로운 최고 성능을 기록했다.

ABSTRACT

Panoptic segmentation involves a combination of joint semantic segmentation and instance segmentation, where image contents are divided into two types: things and stuff. We present Panoptic SegFormer, a general framework for panoptic segmentation with transformers. It contains three innovative components: an efficient deeply-supervised mask decoder, a query decoupling strategy, and an improved post-processing method. We also use Deformable DETR to efficiently process multi-scale features, which is a fast and efficient version of DETR. Specifically, we supervise the attention modules in the mask decoder in a layer-wise manner. This deep supervision strategy lets the attention modules quickly focus on meaningful semantic regions. It improves performance and reduces the number of required training epochs by half compared to Deformable DETR. Our query decoupling strategy decouples the responsibilities of the query set and avoids mutual interference between things and stuff. In addition, our post-processing strategy improves performance without additional costs by jointly considering classification and segmentation qualities to resolve conflicting mask overlaps. Our approach increases the accuracy 6.2\% PQ over the baseline DETR model. Panoptic SegFormer achieves state-of-the-art results on COCO test-dev with 56.2\% PQ. It also shows stronger zero-shot robustness over existing methods. The code is released at \url{https://github.com/zhiqi-li/Panoptic-SegFormer}.

연구 동기 및 목표

• DETR의 패노픽 세그멘테이션에서의 한계, 즉 느린 수렴, 낮은 품질의 마스크, 스태프와 사물의 비최적 처리를 해결하기 위해.
• 마스크 디코더의 어텐션 모듈에 깊이 있는 감독을 적용하여 트랜스포머 기반 패노픽 세그멘테이션에서 마스크 품질 향상과 학습 효율성 향상을 도모하기 위해.
• 각 카테고리 유형에 맞는 특화된 처리를 가능하게 하기 위해 사물과 스태프 쿼리 세트를 분리함으로써 상호 간섭을 줄이기 위해.
• 분류 신뢰도와 마스크 IoU 품질을 함께 고려하여 중복 예측를 해결하는 마스크 단위 후처리 방법을 도입함으로써 표준 픽셀 단위 argmax를 대체하여 거짓 양성(false positives)을 감소시키기 위해.
• 더 적은 파라미터로 최고 성능을 달성하고, 더 나은 제로샷 일반화 능력을 확보하기 위해.

제안 방법

• 어텐션 모듈에 계층별 감독을 적용하는 깊이 있는 감독을 받은 마스크 디코더로, 수렴 속도를 가속화하고 어텐션 표현 품질을 향상시킨다.
• 쿼리 세트를 사물 쿼리(위치 디코더를 통해 처리)와 스태프 쿼리(직접 처리)로 분할하는 쿼리 디커플링 전략으로, 교차 카테고리 간 간섭을 최소화한다.
• 분류 확률과 마스크 IoU 품질을 함께 평가하여 겹치는 예측를 해결하는 마스크 단위 융합 후처리 방법으로, 표준 픽셀 단위 argmax를 대체한다.
• 다중 해상도 특징을 효율적으로 처리하면서 계산 비용을 줄이기 위해 마스크 디코더에 변형 가능 어텐션 메커니즘을 통합한다.
• 사물과 스태프 모두에 공통 손실 헤드를 사용하며, 이중 매칭을 지원하기 위해 사물 쿼리에 추가로 검출 손실을 적용한다.
• 효율적인 특징 추출과 다중 해상도 표현 학습을 위해 Deformable DETR을 백본으로 채택한다.

실험 결과

연구 질문

• RQ1 마스크 디코더의 어텐션 모듈에 깊이 있는 감독을 적용하면 트랜스포머 기반 패노픽 세그멘테이션에서 마스크 품질 향상과 학습 수렴 속도 향상에 기여하는가?
• RQ2 사물과 스태프 쿼리를 분리하면 상호 간섭이 줄어들고, 특히 형태가 없는 스태프 영역에서 세그멘테이션 정확도가 향상되는가?
• RQ3 분류 및 세그멘테이션 품질을 함께 고려하는 마스크 단위 후처리 전략이 표준 픽셀 단위 argmax를 능가하여 거짓 양성 수를 줄일 수 있는가?
• RQ4 공통 구성 요소를 공유하는 통합 트랜스포머 프레임워크가 더 적은 파라미터로 이전 방법보다 패노픽 세그멘테이션에서 뛰어난 성능을 내는가?
• RQ5 기존 방법과 비교해 제로샷 일반화 성능에서 제안된 프레임워크는 어떻게 성과를 내는가?

주요 결과

• Panoptic SegFormer는 COCO test-dev에서 56.2% PQ를 달성하여 이전 모델보다 훨씬 적은 파라미터로 새로운 최고 성능을 기록했다.
• 제안된 구성 요소 덕분에 베이스라인인 DETR 대비 PQ가 6.2% 향상되어 상당한 성능 향상을 입증했다.
• 쿼리 디커플링 전략은 공동 매칭 대비 PQ를 2.9% 향상시켰으며, 공동 설정에서 고신뢰도 쿼리의 스태프 정밀도는 0.30이었지만, 이 전략에서는 0.66으로 상승했다.
• 후처리 방법만으로도 DETR 대비 PQ가 1.3% 향상되어 품질 인식 융합이 표준 argmax를 능가하는 영향을 보였다.
• Swin-L 백본을 사용해 24 에포크 학습하는 것만으로도 50 에포크 학습보다 더 높은 성능를 달성하여 깊이 있는 감독 덕분에 더 빠른 수렴을 보였다.
• 기존 방법보다 더 강한 제로샷 일반화 능력을 보이며, 더 나은 일반화 능력이 향상되었음을 시사했다.