[논문 리뷰] Cityscapes-Panoptic-Parts and PASCAL-Panoptic-Parts datasets for Scene Understanding

Panagiotis Meletis, Xiaoxiao Wen외 3명|arXiv (Cornell University)|2020. 04. 16.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 도시 및 일상적인 환경에서의 고급 장면 이해를 위해 계층적 파트 수준 레이블을 제공하는 두 가지 새로운 데이터셋인 Cityscapes-Panoptic-Parts와 PASCAL-Panoptic-Parts를 소개한다. 각각 23개 및 193개의 파트 클래스를 포함하며, 기존의 패ノ픽 포맷과 호환되는 압축된 계층적 레이블 형식을 사용한다. 이는 최소한의 레이블링 오버헤드로 다중 수준의 장면 이해를 가능하게 하며, 공개된 코드와 함께 공개되었다.

ABSTRACT

In this technical report, we present two novel datasets for image scene understanding. Both datasets have annotations compatible with panoptic segmentation and additionally they have part-level labels for selected semantic classes. This report describes the format of the two datasets, the annotation protocols, the merging strategies, and presents the datasets statistics. The datasets labels together with code for processing and visualization will be published at https://github.com/tue-mps/panoptic_parts.

연구 동기 및 목표

• 장면 이해를 위한 일관되고 다중 수준의 레이블링 부족 문제를 해결하기 위해 통합된 의미, 인스턴스, 파트 수준의 레이블을 갖춘 데이터셋을 구축하는 것.
• 단일 충돌 없는 레이블 계층에서 통합된(패anoptic 세그멘테이션) 및 세부적인(파트 수준 세그멘테이션, 객체 탐지) 이미지 이해 작업을 동시에 수행할 수 있도록 하는 것.
• 구조화된 융합 및 레이블링 프로토콜을 통해 레이블링 부담을 줄이고 고품질의 일관된 파트 수준 레이블을 유지하는 것.
• 의미, 인스턴스, 파트 수준 레이블링을 하나의 압축된 ID 인코딩에서 지원하는 표준화되고 확장 가능한 계층적 레이블 형식을 제공하는 것.

제안 방법

• Cityscapes와 PASCAL-Context 데이터셋을 확장하여, 도시 환경에서의 23개의 파트 클래스와 일상적 환경에서의 193개의 파트 클래스에 대해 수동으로 파트 수준 레이블링을 추가하였다. 주로 'things' 클래스(예: 사람, 차량)에 중점을 두었다.
• 7자리 정수 ID를 사용하는 계층적 레이블 형식을 개발하였다: 첫 두 자리는 의미 클래스, 다음 세 자리는 인스턴스 ID(앞자리 0으로 패딩), 마지막 두 자리는 파트 클래스 ID(앞자리 0으로 패딩)로 구성되며, 이는 압축되고 모호하지 않은 인코딩을 가능하게 한다.
• 기존의 Cityscapes 패노픽 레이블을 유지하면서도 새로운 파트 수준 레이블링을 충돌 없이 통합하는 융합 전략을 적용하여, 평균 이미지당 레이블링 시간을 7분으로 최소화하였다.
• 각 수준에서 'void' 클래스 규칙을 적용한다: 의미 수준에서는 id=0(=PASCAL), 인스턴스별 파트 수준에서는 id=000을 사용해 미레이블된 파트를 나타내어 불필요한 void 픽셀을 줄인다.
• 계층적 레이블 인코딩 공식을 구현한다: id = semantic_id * 10^5 + instance_id * 10^2 + part_id. 이는 후행 호환성과 확장성을 보장한다.
• 재현 가능성과 커뮤니티 활용을 위해 github.com/tue-mps/panoptic_parts에 데이터셋과 관련 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 동일한 이미지 세트에서 패노픽 세그멘테이션과 파트 수준 세그멘테이션을 동시에 지원할 수 있는 통합된 충돌 없는 데이터셋을 만들 수 있는가?
• RQ2 기존의 패노픽 데이터셋에 파트 수준 레이블링을 효율적으로 통합할 수 있는 방법은 무엇인가? 이는 원래의 레이블을 손상시키거나 레이블링 시간을 증가시키지 않는다.
• RQ3 의미, 인스턴스, 파트 수준 레이블링을 하나의 압축되고 확장 가능하며 후행 호환 가능한 방식으로 지원할 수 있는 최적의 계층적 레이블 형식은 무엇인가?
• RQ4 파트 수준 레이블링의 포함 여부가 복잡한 도시 및 일상적인 장면에서 객체 이해의 분포와 해상도에 어떤 영향을 미치는가?
• RQ5 파트 수준 레이블링은 인스턴스 기반 객체 해체 및 세분화된 장면 이해와 같은 후행 작업에 어떤 영향을 미치는가?

주요 결과

• Cityscapes-Panoptic-Parts는 원본 Cityscapes 데이터셋에 8개의 'things' 클래스에 대해 23개의 파트 클래스에 대한 파트 수준 레이블링을 추가하여, 훈련용 2975장, 검증용 500장의 이미지를 포함한다.
• PASCAL-Panoptic-Parts는 PASCAL-Parts와 PASCAL-Context를 융합하여 통합된 데이터셋을 구축하였으며, 100개의 'stuff' 클래스, 20개의 'things' 클래스, 193개의 파트 클래스를 포함하고, 훈련용 4998장, 검증용 5105장의 이미지를 사용한다.
• 구조화된 융합 및 레이블링 프로토콜을 통해 파트 수준 레이블링의 평균 레이블링 시간이 7분으로 감소하였다.
• 계층적 레이블 형식은 의미, 인스턴스, 파트 수준 레이블링을 하나의 7자리 정수 ID에 압축되고 모호하지 않게 인코딩할 수 있도록 하여 향후 확장성을 보장한다.
• 데이터셋은 처리, 시각화, 평가를 위한 완전한 코드와 함께 공개되어 재현 가능성과 커뮤니티 수용을 보장한다.
• 파트 수준 레이블링은 현재 'things' 클래스에 국한되어 있으나, 향후 'stuff' 클래스로의 확장도 고려된 프레임워크로 설계되어 있다.