[논문 리뷰] Single-shot Path Integrated Panoptic Segmentation

Sukjun Hwang, Seoung Wug Oh외 1명|arXiv (Cornell University)|2020. 12. 03.

Advanced Neural Network Applications참고 문헌 41인용 수 7

한 줄 요약

SPINet는 인스턴스 세그멘테이션과 세미틱 세그멘테이션을 하나의 특징 맵인 패노픽-피처로 통합함으로써 단일 스포트, 경로 통합 방식의 패노픽 세그멘테이션을 제안한다. 이는 보조 작업을 통해 공동 최적화되며, Cityscapes(63.0% PQ)에서 최신 기술 수준의 성능을 달성하고 COCO(42.2% PQ)에서도 경쟁력 있는 결과를 내며 높은 효율성과 계산 비용 절감을 이룬다. 별도의 브랜치를 제거하고 한 번의 순방향 전파로 종단 간 마스크 예측을 가능하게 한다.

ABSTRACT

Panoptic segmentation, which is a novel task of unifying instance segmentation and semantic segmentation, has attracted a lot of attention lately. However, most of the previous methods are composed of multiple pathways with each pathway specialized to a designated segmentation task. In this paper, we propose to resolve panoptic segmentation in single-shot by integrating the execution flows. With the integrated pathway, a unified feature map called Panoptic-Feature is generated, which includes the information of both things and stuffs. Panoptic-Feature becomes more sophisticated by auxiliary problems that guide to cluster pixels that belong to the same instance and differentiate between objects of different classes. A collection of convolutional filters, where each filter represents either a thing or stuff, is applied to Panoptic-Feature at once, materializing the single-shot panoptic segmentation. Taking the advantages of both top-down and bottom-up approaches, our method, named SPINet, enjoys high efficiency and accuracy on major panoptic segmentation benchmarks: COCO and Cityscapes.

연구 동기 및 목표

• 패노픽 세그멘테이션을 위한 단일이고 효율적인 추론 경로로 인스턴스 세그멘테이션과 세미틱 세그멘테이션을 통합하기 위해.
• 별도의 인스턴스 및 세미틱 브랜치로 인한 계산 및 아키텍처 오버헤드를 제거하기 위해.
• 같은 인스턴스 및 같은 클래스의 픽셀들이 군집화되도록 향상시키는 보조 작업을 통해 특징 표현을 개선하기 위해.
• 단일 스포트 프레임워크 내에서 상향식 및 하향식 강점을 통합함으로써 높은 정확도와 효율성을 달성하기 위해.
• 이전의 이중 브랜치 모델에서 흔히 발생하는 'thing'과 'stuff' 세그멘테이션 간의 성능 불균형을 해결하기 위해.

제안 방법

• 공유 백본과 FPN에서 유일한 패노픽-피처 맵을 생성하여 인스턴스 및 스탑 표현을 통합한다.
• 필터 샘플링 모듈이 컨텍스트에 기반해 동적으로 인스턴스 전용 컨볼루션 필터를 생성하며, CondInst의 영감을 받는다.
• 학습 가능한 필터는 스탑 클래스에 사용되며, 컨텍스트 인식 주의를 통해 각 입력 장면에 맞는 인스턴스 필터가 생성된다.
• 특징 군집화와 경계 검출을 향상시키기 위해 보조 작업인 Intra-Class Triplet 손실과 Inter-Class Contour 손실을 적용한다.
• 최종 세그멘테이션은 패노픽-피처 맵을 한 번의 컨볼루션으로 처리하여 동시에 모든 마스크를 생성한다.
• ResNet 스템을 7×7에서 세 개의 3×3 컨볼루션으로 수정하여 세밀한 세부 사항을 유지하고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 별도의 인스턴스 및 세미틱 브랜치 없이도 단일 스포트 추론 파이프라인으로 패노픽 세그멘테이션을 효과적으로 통합할 수 있는가?
• RQ2 공유된 특징 맵에 인스턴스 및 스탑 표현을 통합할 경우 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 보조 작업이 패노픽 세그멘테이션에서 특징 군집화와 경계 검출을 얼마나 향상시키는가?
• RQ4 단일 통합 모델이 ASPP나 가변성 컨볼루션과 같은 무거운 모듈 없이 COCO와 Cityscapes 양쪽에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 경로 통합 방식은 이중 브랜치 기준 모델 대비 계산 비용을 줄이고 정확도를 향상시키는가?

주요 결과

• SPINet는 Cityscapes 검증 세트에서 63.0% PQ를 달성하여 새로운 최신 기술 수준의 성능을 설정했다.
• COCO에서 SPINet는 ResNet-50-FPN 백본을 사용해 42.2% PQ를 기록했으며, 영역 제안 네트워크 없이도 이중 단계 방법의 성능을 따라잡았다.
• 인스턴스 및 세미틱 브랜치의 통합으로 모델 파라미터는 10% 감소하고 추론 FLOPs는 15% 감소했다.
• 보조 작업(내부 클래스 트리플렛 손실 및 상호 클래스 윤곽 손실)을 사용함으로써 Cityscapes에서 PQ가 0.7% 향상되었으며, 경계 및 인스턴스 분리가 향상되었다.
• ResNet 스템을 세 개의 3×3 컨볼루션으로 교체함으로써 Cityscapes에서 PQ가 2.1% 향상되었으며, 세밀한 세부 사항 유지의 이점이 입증되었다.
• 단일 스포트, 통합 아키텍처는 파arameter 수와 FLOPs가 더 적은 반면, 별도의 브랜치 기준 모델보다 0.7% PQ 높은 성능을 기록했다.