[논문 리뷰] Fully Convolutional Networks for Panoptic Segmentation

Yanwei Li, Hengshuang Zhao외 5명|arXiv (Cornell University)|2020. 12. 01.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 12

한 줄 요약

이 논문은 패ノ픽 세그멘테이션을 통합하기 위해 인스턴스별 커널을 생성하는 커널 생성기로 양질의 사전 학습된 커널을 사용하는 완전 컨volutional 프레임워크인 Panoptic FCN을 제안한다. 이는 경계 상자나 후처리 없이 엔드 투 엔드로 고해상도 예측을 가능하게 하며, COCO test-dev에서 47.5% PQ, Cityscapes val에서 61.4% PQ의 최신 기술 수준 성능을 달성한다.

ABSTRACT

In this paper, we present a conceptually simple, strong, and efficient framework for panoptic segmentation, called Panoptic FCN. Our approach aims to represent and predict foreground things and background stuff in a unified fully convolutional pipeline. In particular, Panoptic FCN encodes each object instance or stuff category into a specific kernel weight with the proposed kernel generator and produces the prediction by convolving the high-resolution feature directly. With this approach, instance-aware and semantically consistent properties for things and stuff can be respectively satisfied in a simple generate-kernel-then-segment workflow. Without extra boxes for localization or instance separation, the proposed approach outperforms previous box-based and -free models with high efficiency on COCO, Cityscapes, and Mapillary Vistas datasets with single scale input. Our code is made publicly available at https://github.com/Jia-Research-Lab/PanopticFCN.

연구 동기 및 목표

• 패널식 세그멘테이션에서 수량 세는 것(Things)과 수량 세지 않는 것(Stuff)의 표현을 단일한 엔드 투 엔드 완전 컨볼루션 프레임워크로 통합하는 것.
• 개별 브랜치나 후처리에 의존하지 않고도 Things에 대한 인스턴스 인식과 Stuff에 대한 의미 일관성을 동시에 해결하는 것.
• 경계 상자나 추가적인 인스턴스 분리 모듈(예: 오프셋, 유사도)이 필요 없이 완전 컨볼루션 방식으로 제거하는 것.
• 통합된 커널 생성 및 컨볼루션 워크플로우를 사용하여 고해상도, 효율적이고 정확한 패노픽 세그멘테이션을 달성하는 것.

제안 방법

• 커널 생성기 모듈은 위치 헤드와 커널 헤드에서 유도된 객체 중심과 스타일 영역을 기반으로 인스턴스별 커널 가중치를 생성한다.
• 각 인스턴스 또는 의미 카테고리는 고유한 커널 가중치로 인코딩되어 고해상도 특징과 직접 컨볼루션하여 예측을 수행한다.
• 동일한 식별자 또는 의미 레이블을 가진 커널을 융합하는 커널 융합 연산을 통해 일관성과 중복 방지를 보장한다.
• 특징 인코더는 고해상도 특징을 유지하여 공간적 세부 정보를 보존하고 정밀한 국소화 및 세그멘테이션을 가능하게 한다.
• 예측은 생성된 커널을 고해상도 특징 맵과 직접 컨볼루션하여 수행되며, NMS나 박스 기반의 제안이 필요 없게 된다.
• 프레임워크는 후처리 없이 단일 순방향 전파로 작동하여 완전히 컨볼루션적이고 효율적이다.

실험 결과

연구 질문

• RQ1 통합된 완전 컨볼루션 프레임워크는 패노픽 세그멘테이션에서 인스턴스 인식이 필요한 Things와 의미 일관성이 필요한 Stuff를 효과적으로 처리할 수 있는가?
• RQ2 박스 기반 또는 유사도 기반 방법을 대체할 수 있는 커널 기반 생성 방식은 정확도와 효율성을 유지하거나 향상시킬 수 있는가?
• RQ3 추가 모듈 없이도 커널 융합이 Stuff의 의미 일관성과 Things의 정체성 분리 보장을 가능하게 할 수 있는가?
• RQ4 단일 스케일, 엔드 투 엔드, 커널 기반 접근 방식이 기존의 박스 없는 모델 및 박스 기반 모델보다 표준 벤치마크에서 승리할 수 있는가?

주요 결과

• COCO test-dev 세트에서 Panoptic FCN은 47.5% PQ를 달성했으며, 최신 기술 수준의 박스 기반 방법보다 0.2% PQ 높고, 선도적인 박스 없는 방법보다 1.9% PQ 높다.
• Cityscapes val 세트에서 61.4% PQ를 기록했으며, 최고의 박스 없는 모델보다 1.7% PQ 높고, Lovasz 손실을 사용한 박스 기반 모델의 성능과 동일하다.
• Mapillary Vistas val 세트에서 단순한 개선을 통해 36.9% PQ를 달성했으며, 박스 없는 카테고리에서 이전 최신 기술 수준보다 3.6% PQ 높다.
• COCO, Cityscapes, Mapillary Vistas 세 가지 벤치마크 전반에서 단일 스케일 입력과 데이터 증강 또는 플립 없이도 최신 기술 수준의 성능을 달성했다.
• 제거 실험을 통해 커널 생성기와 커널 융합 구성 요소가 성능에 핵심적임을 확인했으며, 전체 모델이 제거된 변형보다 유의미하게 뛰어난 성능을 보였다.
• 프레임워크는 완전히 컨볼루션적이며 효율적이며, NMS, 경계 상자, 또는 복잡한 후처리 단계가 필요 없다.