[논문 리뷰] PanoNet: Real-time Panoptic Segmentation through Position-Sensitive Feature Embedding

Xia Chen, Jianren Wang외 1명|arXiv (Cornell University)|2020. 08. 01.

Robotics and Sensor-Based Localization참고 문헌 54인용 수 10

한 줄 요약

PanoNet은 단일 스테이지, 경량형 FCN 기반 아키텍처와 위치 민감한 특징 임베딩을 사용하여 영역 분할과 인스턴스 분할을 통합하는 실시간 편합 분할 프레임워크이다. 픽셀 단위의 임베딩에 공간 좌표를 통합함으로써 2048×1024 이미지에서 20 FPS의 추론 속도를 달성하고 메모리 사용량이 3 GB에 불과하며, 이는 이전 방법들 대비 속도-정확도 트레이드오프에서 뛰어난 성능을 보이며 높은 편합 품질(PQ: 55.1)을 유지한다.

ABSTRACT

We propose a simple, fast, and flexible framework to generate simultaneously semantic and instance masks for panoptic segmentation. Our method, called PanoNet, incorporates a clean and natural structure design that tackles the problem purely as a segmentation task without the time-consuming detection process. We also introduce position-sensitive embedding for instance grouping by accounting for both object's appearance and its spatial location. Overall, PanoNet yields high panoptic quality results of high-resolution Cityscapes images in real-time, significantly faster than all other methods with comparable performance. Our approach well satisfies the practical speed and memory requirement for many applications like autonomous driving and augmented reality.

연구 동기 및 목표

• 영역 분할과 인스턴스 분할을 통합하는 실시간이고 효율적인 편합 분할 방법의 부족을 해결한다.
• 유사한 외관을 가진 인스턴스를 구분하는 데에 표준 FCN의 한계를 극복하기 위해 특징 임베딩에 공간적 위치를 통합한다.
• 백본 특징을 영역 분할 및 인스턴스 분할 브랜치 간에 공유하는 단일 스테이지, 엔드 투 엔드 프레임워크를 설계하여 효율성을 향상시킨다.
• 고해상도 입력에서 정확도를 희생시키지 않고도 높은 추론 속도와 낮은 메모리 사용량을 달성한다.
• 저지연, 고정확도의 장면 이해가 요구되는 실세계 응용 분야(예: 자율 주행 및 증강 현실)를 위한 실용적인 솔루션을 제공한다.

제안 방법

• 영역 분할 및 인스턴스 분할 작업을 위해 공유 인코더 백본(예: ICNet)을 사용하는 단일 스테이지 편합 분할 네트워크(PanoNet)를 제안한다.
• FCN의 이동 불변성을 깨뜨리기 위해 공간 좌표(좌표 맵)를 학습된 특징 임베딩과 연결하여 위치 민감한 특징 임베딩을 도입한다.
• 다른 인스턴스에 대해 구별 가능한 임베딩을 유도하면서도 공간 일관성을 유지하기 위해 분류적 손실을 사용해 네트워크를 훈련한다.
• 학습된 임베딩에 클러스터링 기반 후처리 단계를 적용하여 외관과 공간적 근접도를 모두 고려한 인스턴스 마스크를 생성한다.
• 최소한의 파라미터(12M)와 낮은 메모리 사용량(3 GB)을 갖춘 경량 아키텍처를 설계하여 소비자 GPU에서 실시간 추론을 가능하게 한다.
• 모델 압축을 위해 공유 가중치 변형을 채택하였지만, 얕은 층들만 공유할 경우 성능이 약간 저하된다(PQ: 52.3).

실험 결과

연구 질문

• RQ1 영역 제안을 의존하지 않고도 고해상도 이미지에서 실시간 추론을 달성할 수 있는 단일 스테이지, 엔드 투 엔드 편합 분할 프레임워크가 가능한가?
• RQ2 픽셀 단위의 특징 임베딩에 공간적 위치를 통합함으로써 인스턴스 분할 성능이 유의미하게 향상되는가, 특히 외관이 유사한 물체에 대해?
• RQ3 영역 분할 및 인스턴스 분할 브랜치 간에 공유 파라미터를 가진 통합 네트워크 아키텍처가 계산 비용을 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ4 위치 민감한 임베딩이 표준 FCN 기반 임베딩 클러스터링의 실패 케이스(예: 유사한 외관의 물체가 하나로 합쳐지는 경우)를 어느 정도 완화할 수 있는가?
• RQ5 매우 작아진 모델 크기와 낮은 메모리 사용량으로 최신 기술 수준의 편합 품질을 달성할 수 있으며, 자원 제약이 있는 장치에 배포 가능한가?

주요 결과

• PanoNet는 단일 GPU에서 2048×1024 Cityscapes 이미지에서 3 GB GPU 메모리만 사용하고도 20 FPS의 추론 속도를 달성하여, 단일 GPU에서 첫 번째 실시간 편합 분할 모델이 되었다.
• 경량 ICNet 백본을 사용함으로써 PanoNet는 Cityscapes 검증 세트에서 편합 품질(PQ) 55.1을 달성하였으며, 이는 속도와 효율성에도 불구하고 최신 기술 수준의 모델들과 유사한 성능을 보였다.
• 제거 분석 결과, 위치 민감한 임베딩이 특히 외관이 동일하거나 반사된 물체의 경우에 있어 인스턴스 분할 AP를 유의미하게 향상시킨다.
• 네 대의 자동차(두 쌍의 동일한 모델)가 있는 반사된 이미지에서, 비위치 민감한 임베딩은 반사된 차량을 하나의 인스턴스로 합쳐버리지만, 위치 민감한 임베딩은 네 대의 차량을 모두 정확히 분리한다.
• PanoNet는 오직 1200만 개의 파라미터만을 사용하고 4개의 GPU에서 효율적으로 훈련되며, 다른 최고 수준의 모델들이 16개 이상의 GPU가 필요로 하는 것과 대비해 훈련 효율성이 뛰어나다.
• 메모리 효율성 덕분에 전체 이미지 추론이 단일 순방향 전파로 가능하여, 더 큰 모델이 GPU 메모리 한계를 초과할 경우 필수로 요구되는 이미지 자르기 작업이 필요로 하지 않는다.