[논문 리뷰] DeeperLab: Single-Shot Image Parser

Tien-Ju Yang, Maxwell D. Collins외 7명|arXiv (Cornell University)|2019. 02. 13.

Advanced Neural Network Applications참고 문헌 101인용 수 162

한 줄 요약

DeeperLab은 단일 샷, 바텀업 이미지 파서로 파노픽 세분화를 수행하며 하나의 패스에서 시맨틱 및 인스턴스 레이블을 공동 예측하고, 지역 인지 Parsing Covering 메트릭과 강력한 Mapillary Vistas 결과를 제공합니다.

ABSTRACT

We present a single-shot, bottom-up approach for whole image parsing. Whole image parsing, also known as Panoptic Segmentation, generalizes the tasks of semantic segmentation for 'stuff' classes and instance segmentation for 'thing' classes, assigning both semantic and instance labels to every pixel in an image. Recent approaches to whole image parsing typically employ separate standalone modules for the constituent semantic and instance segmentation tasks and require multiple passes of inference. Instead, the proposed DeeperLab image parser performs whole image parsing with a significantly simpler, fully convolutional approach that jointly addresses the semantic and instance segmentation tasks in a single-shot manner, resulting in a streamlined system that better lends itself to fast processing. For quantitative evaluation, we use both the instance-based Panoptic Quality (PQ) metric and the proposed region-based Parsing Covering (PC) metric, which better captures the image parsing quality on 'stuff' classes and larger object instances. We report experimental results on the challenging Mapillary Vistas dataset, in which our single model achieves 31.95% (val) / 31.6% PQ (test) and 55.26% PC (val) with 3 frames per second (fps) on GPU or near real-time speed (22.6 fps on GPU) with reduced accuracy.

연구 동기 및 목표

• 시맨틱(seg)과 인스턴스 세그멘테이션을 통합한 효율적인 전체 이미지 파싱(파노픽 세분화)을 추진한다.
• 속도와 간단함을 위해 시맨틱 및 인스턴스 헤드 간 특징을 공유하는 단일 패스 바텀업 아키텍처를 제안한다.
• 고해상도 입력에 대한 메모리 사용량을 줄이고 receptive field를 개선하기 위한 설계 전략을 도입한다.
• region 기반 대안으로 Parsing Covering(PC) 메트릭을 제안한다( Panoptic Quality(PQ)의 대안).
• Mapillary Vistas 데이터셋에서 최첨단 성능-속도 트레이드오프를 시연한다.

제안 방법

• 깊이별 분리 합성곱과 더 큰 커널 및 ASPP를 통한 강한 receptive field를 갖춘 공유 인코더-디코더 백본을 사용한다.
• 공통 디코더 출력에 부착된 다섯 개 헤드를 통해 픽셀 단위 시맨틱 라벨과 클래스 비의존적 인스턴스 큐를 예측한다.
• Upsampling 중 메모리 관리를 위해 space-to-depth 및 depth-to-space 연산을 사용한다.
• 학습 중 작은 인스턴스와 어려운 픽셀을 강조하기 위해 하드 픽셀 마이닝과 가중 손실을 사용한다.
• 시맨틱 및 인스턴스 예측을 단순하고 빠른 최종 융합 단계에서 결합해 파노픽 파싱 결과를 생성한다.

실험 결과

연구 질문

• RQ1 단일 샷, 바텀업 네트워크가 전체 이미지 파싱을 위해 시맨틱 및 인스턴스 세그멘테이션을 효율적으로 동시에 생성할 수 있는가?
• RQ2 아키텍처 선택(커널 크기, 디코더 설계, ASPP, 메모리 관리)이 고해상도 거리-풍경 데이터에서 정확도와 속도에 어떤 영향을 미치는가?
• RQ3 Parsing Covering과 같은 지역 기반 메트릭이 이미지 파싱에서 Panoptic Quality에 보완적인 인사이트를 제공하는가?
• RQ4 Mapillary Vistas에서 서로 다른 백본(Xception-71 대 Wider MobileNetV2)의 정확도와 처리량 간의 트레이드오프는 무엇인가?

주요 결과

• Xception-71 백본은 Mapillary Vistas 검증 세트에서 3.09 fps GPU에서 31.95% PQ 및 55.26% PC를 달성한다.
• ASPP가 적용된 Wider MobileNetV2는 GPU에서 6.19 fps로 25.20% PQ 및 49.80% PC에 도달하며 전체 속도가 더 빠르다.
• 다운샘플링된 입력을 가진 Light Wider MobileNetV2는 약 실시간 속도(22.61 fps on GPU)로 일부 정확도 손실이 있다.
• space-to-depth 및 depth-to-space, 더 큰 커널, 더 깊은 예측 헤드를 갖춘 디코더 설계가 기본보다 PQ/PC를 실질적으로 향상시킨다.
• 하드 픽셀 마이닝과 작은 인스턴스 손실 가중치 증가가 측정 가능한 PQ/PC 이득을 가져오며(예: PQ 최대 24.99%, PC 최대 49.23%).
• 본 논문은 지역 기반 파싱 품질 지표로 Parsing Covering(PC)을 제안하고 보충 자료에서 Cityscapes, Pascal VOC 2012, COCO의 결과를 보고한다.