[논문 리뷰] On Efficient Real-Time Semantic Segmentation: A Survey

Christopher J. Holder, Muhammad Shafique|arXiv (Cornell University)|2022. 06. 17.

Advanced Neural Network Applications인용 수 21

한 줄 요약

이 설문조사는 저메모리 임베디드 하드웨어에 적합한 컴팩트하고 효율적인 실시간 의미 분할 모델을 분석하고, 일관된 평가 설정에서 지연 시간과 정확도를 비교한다.

ABSTRACT

Semantic segmentation is the problem of assigning a class label to every pixel in an image, and is an important component of an autonomous vehicle vision stack for facilitating scene understanding and object detection. However, many of the top performing semantic segmentation models are extremely complex and cumbersome, and as such are not suited to deployment onboard autonomous vehicle platforms where computational resources are limited and low-latency operation is a vital requirement. In this survey, we take a thorough look at the works that aim to address this misalignment with more compact and efficient models capable of deployment on low-memory embedded systems while meeting the constraint of real-time inference. We discuss several of the most prominent works in the field, placing them within a taxonomy based on their major contributions, and finally we evaluate the inference speed of the discussed models under consistent hardware and software setups that represent a typical research environment with high-end GPU and a realistic deployed scenario using low-memory embedded GPU hardware. Our experimental results demonstrate that many works are capable of real-time performance on resource-constrained hardware, while illustrating the consistent trade-off between latency and accuracy.

연구 동기 및 목표

• 최신 의미 분할 성능과 저메모리 임베디드 시스템의 배치 제약 간의 격차를 평가한다.
• 주요 기여에 따라 효율적인 실시간 세분화를 일관된 분류체계 내에서 분류한다.
• 논의된 모델의 추론 속도를 일관된 하드웨어/소프트웨어 설정에서 평가하여 실제 배치 시나리오를 반영한다.

제안 방법

• 주요 실시간 분할 연구를 핵심 기여와 기법에 따라 검토하고 분류한다.
• 컴팩트 모델을 위한 효율성 중심 접근법에 기반한 분류 체계를 제시한다.
• 고급 GPU와 저메모리 임베디드 GPU를 사용한 고정된 실현 가능한 하드웨어/소프트웨어 스택에서 추론 속도를 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 제약된 하드웨어에서 실시간 의미 분할을 가능하게 하는 주요 아키텍처적 및 알고리즘적 전략은 무엇인가?
• RQ2 일관된 평가 조건하에서 조사된 접근법들 간에 지연 시간과 정확도 트레이드오프는 어떻게 나타나는가?
• RQ3 임베디드 GPU에서 실시간 성능을 달성하는 방법은 무엇이며 그 한계는 무엇인가?
• RQ4 배포 선택을 안내하기 위해 기존의 실시간 세그먼트 방법을 어떻게 분류할 수 있는가?
• RQ5 실세계 자율주행 배치 시나리오를 가장 잘 반영하는 벤치마크나 설정은 무엇인가?

주요 결과

• 많은 연구가 제약된 하드웨어에서 실시간 성능을 달성한다.
• 조사 대상 방법들 간에 지연 시간과 정확도 사이의 일관된 트레이드오프가 있다.