[논문 리뷰] SpatialFlow: Bridging All Tasks for Panoptic Segmentation

Qiang Chen, Anda Cheng외 3명|arXiv (Cornell University)|2019. 10. 19.

Advanced Neural Network Applications참고 문헌 73인용 수 10

한 줄 요약

이 논문은 객체 검출, 사물 세분화, 소재 세분화를 공간 정보 흐름을 통해 통합하는 위치 인식 기반의 통합 프레임워크인 SpatialFlow을 제안한다. 작업별 하위 네트워크와 특징 상호배치를 통해 상자 회귀에서 세분화 헤드로 공간적 맥락을 전달함으로써, COCO에서 47.9 PQ, Cityscapes에서 62.5 PQ를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Object location is fundamental to panoptic segmentation as it is related to all things and stuff in the image scene. Knowing the locations of objects in the image provides clues for segmenting and helps the network better understand the scene. How to integrate object location in both thing and stuff segmentation is a crucial problem. In this paper, we propose spatial information flows to achieve this objective. The flows can bridge all sub-tasks in panoptic segmentation by delivering the object's spatial context from the box regression task to others. More importantly, we design four parallel sub-networks to get a preferable adaptation of object spatial information in sub-tasks. Upon the sub-networks and the flows, we present a location-aware and unified framework for panoptic segmentation, denoted as SpatialFlow. We perform a detailed ablation study on each component and conduct extensive experiments to prove the effectiveness of SpatialFlow. Furthermore, we achieve state-of-the-art results, which are $47.9$ PQ and $62.5$ PQ respectively on MS-COCO and Cityscapes panoptic benchmarks. Code will be available at https://github.com/chensnathan/SpatialFlow.

연구 동기 및 목표

• 풍경 세분화에서 객체 검출과 세분화 작업 간의 통합 부족, 특히 공간 맥락의 부적절한 활용을 해결한다.
• 사물과 소재 세분화 간의 관계를 忽시하는 독립적 또는 히우리스틱적 후처리 파이프라인의 한계를 극복한다.
• 객체 검출에서 사물 및 소재 세분화 하위 작업으로의 공간 맥락 흐름을 가능하게 하는 통합 프레임워크를 개발한다.
• 명시적 특징 전파를 통해 양 하위 작업이 객체 위치를 인지하도록 하여 세분화 정확도를 향상시킨다.
• 정확도와 추론 속도의 균형을 유지하면서도 다양한 벤치마크에서 강력한 일반화 능력을 확보한다.

제안 방법

• 각각 작업별 헤드를 갖춘 네 개의 병렬 하위 네트워크—상자 회귀, 분류, 사물 세분화, 소재 세분화—를 설계하여 고유한 특징 포맷을 유지한다.
• 상자 회귀 헤드에서 분류, 사물 세분화, 소재 세분화 헤드로 공간 맥락을 전달하는 공간 정보 흐름을 도입한다.
• 특징 상호배치를 사용하여 공간 맥락을 세분화 헤드에 통합함으로써 국소화 및 경계 인식 능력을 향상시킨다.
• 피그먼트 수준의 공간 맥락을 유지하기 위해 RetinaNet을 백본으로 채택하여 인스턴스 수준의 특징 표현을 피한다.
• CAM 시각화를 적용하여 주의 맵을 분석하고, 공간 흐름이 객체에 대한 집중도를 높이고 정밀한 경계 검출을 향상시킨다는 것을 검증한다.
• 제거 분석을 수행하여 공간 흐름과 특징 통합 전략의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 객체 검출에서 유도된 공간 맥락을 어떻게 효과적으로 활용하여 풍경 세분화에서 사물 및 소재 세분화 성능을 향상시킬 수 있는가?
• RQ2 명시적 공간 정보 흐름이 통합된 풍경 세분화 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ3 공간 맥락 통합은 풍경 세분화를 넘어서 독립형 객체 검출 모델의 성능 향상에도 기여할 수 있는가?
• RQ4 백본 선택(예: 단계형 vs. 이단형)이 세분화 작업에서 공간 맥락의 유지 및 활용에 어떤 영향을 미치는가?
• RQ5 실세계 비전 시스템에서 공간 흐름을 사용할 경우 정확도와 추론 속도 간의 상충 관계는 어떻게 나타나는가?

주요 결과

• SpatialFlow는 COCO test-dev에서 47.9 PQ, Cityscapes val 스플릿에서 62.5 PQ를 기록하여 새로운 최신 기술 성능을 달성한다.
• 기본 모델이 분류 헤드에서 단순한 특징 통합을 사용하는 경우에 비해, 공간 흐름 덕분에 PQ가 0.7 향상되고, PQ_Th는 0.8, PQ_St는 0.5 향상된다.
• 400px 입력 크기에서 19.6 FPS를 유지하면서도 37.4 PQ의 정확도를 확보하여 정확도-속도 균형이 우수하다.
• 공간 흐름을 적용함으로써 객체 검출 성능도 향상되었으며, COCO에서 mAP는 35.6에서 36.7로, AP_75는 37.7에서 39.4로 상승했다.
• CAM 시각화 결과, 공간 흐름이 사물 브랜치에서 객체에 대한 집중도를 높이고 소재 브랜치에서 경계 인식 능력을 향상시킨다는 것이 확인되었다.
• 제거 분석 결과, 공간 흐름은 단순한 특징 연결이나 원소별 덧셈보다도 교차 작업 특징 통합에 더 효과적임을 입증했다.