[논문 리뷰] TwinLiteNet: An Efficient and Lightweight Model for Driveable Area and Lane Segmentation in Self-Driving Cars

Quang Huy, Dinh Phuc Nguyen외 2명|arXiv (Cornell University)|2023. 07. 20.

Advanced Neural Network Applications참고 문헌 27인용 수 6

한 줄 요약

TwinLiteNet는 자율주행 차량에서 실시간 주행 가능 영역 및 차선 세분화를 위한 경량이고 효율적인 딥러닝 모델로, 이중 인코더 아키텍처와 확장된 컨볼루션, 이중 주의 모듈을 결합한다. 이 모델은 단지 0.4M 파라미터로도 주행 가능 영역에서 91.3% mIoU, 차선 검출에서 31.08% IoU를 달성하며, GPU에서는 415 FPS, Jetson Xavier NX에서는 60 FPS로 실행되어 엣지 배포에 적합하다.

ABSTRACT

Semantic segmentation is a common task in autonomous driving to understand the surrounding environment. Driveable Area Segmentation and Lane Detection are particularly important for safe and efficient navigation on the road. However, original semantic segmentation models are computationally expensive and require high-end hardware, which is not feasible for embedded systems in autonomous vehicles. This paper proposes a lightweight model for the driveable area and lane line segmentation. TwinLiteNet is designed cheaply but achieves accurate and efficient segmentation results. We evaluate TwinLiteNet on the BDD100K dataset and compare it with modern models. Experimental results show that our TwinLiteNet performs similarly to existing approaches, requiring significantly fewer computational resources. Specifically, TwinLiteNet achieves a mIoU score of 91.3% for the Drivable Area task and 31.08% IoU for the Lane Detection task with only 0.4 million parameters and achieves 415 FPS on GPU RTX A5000. Furthermore, TwinLiteNet can run in real-time on embedded devices with limited computing power, especially since it achieves 60FPS on Jetson Xavier NX, making it an ideal solution for self-driving vehicles. Code is available: url{https://github.com/chequanghuy/TwinLiteNet}.

연구 동기 및 목표

• 자율주행 차량의 임베디드 시스템에 적합한 계산 효율성이 높은 주행 가능 영역 및 차선 세분화 모델을 개발하기 위해.
• 정확도를 훼손하지 않으면서 모델 복잡도와 추론 비용을 감소시키기 위해.
• 저전력 엣지 디바이스인 Jetson Xavier NX 및 TX2와 같은 기기에서 실시간 추론을 가능하게 하기 위해.
• 개선된 특징 표현과 추론 속도를 위해 이중 주의 및 재패라미터화 기법을 통합하기 위해.
• 상대적으로 훨씬 적은 파라미터 수와 계산 부담으로 최신 기술 수준의 모델과 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• TwinLiteNet는 YOLOP를 영감으로 삼은 이중 브랜치 디코더 아키텍처를 사용하며, 주행 가능 영역과 차선 검출 작업을 위한 별도의 헤드를 갖춘다.
• 감지 범위를 확장하면서도 파라미터 수를 유지하기 위해 ESPNet 기반의 백본과 확장된 컨볼루션을 사용한다.
• 저수준과 고수준 특징 간의 특징 융합을 향상시키기 위해 이중 주의 모듈을 통합한다.
• 주행 가능 영역과 차선 세분화 작업을 분리하여 전문화도를 높이기 위해 다중 헤드 예측 헤드를 사용한다.
• 최종 레이어에 재패라미터화 기법을 적용하여 정확도 손실 없이 추론 속도를 향상시킨다.
• 데이터 증강 기법을 포함한 BDD100K 데이터셋으로 학습하며, 차선 애너테이션을 8픽셀 확장하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 경량 세분화 모델이 엣지 디바이스에서 실시간 추론을 유지하면서도 주행 가능 영역 및 차선 검출 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 단일 헤드 또는 공유 헤드 설계에 비해 이중 브랜치 디코더 아키텍처는 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 이중 주의와 재패라미터화 기법이 경량 세분화 모델의 특징 학습과 추론 속도 향상에 얼마나 기여하는가?
• RQ4 임베디드 플랫폼에서 모델 크기, 추론 속도, 세분화 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ5 모델은 일광 및 야간 조건을 포함한 다양한 조명 및 도로 조건에서 일반화 성능을 보일 수 있는가?

주요 결과

• TwinLiteNet는 주행 가능 영역 세분화 작업에서 91.3% mIoU를 달성하여 대부분의 경량 모델을 능가하며 최신 기술 수준의 성능에 근접한다.
• 차선 검출에서 31.08% IoU를 기록하여 경량 모델 중 두 번째로 높은 순위를 차지하며, SOTA 모델인 HybridNets에 0.52% 이내로 근접한다.
• 단지 0.4백만 개의 파라미터로도 RTX A5000 GPU에서 415 FPS의 추론 속도를 달성하여 높은 계산 효율성을 입증한다.
• Jetson Xavier NX에서 60 FPS로 실행되어 임베디드 엣지 디바이스에서 실시간 기능을 확인한다.
• 제거 실험 결과, 이중 주의 모듈, 다중 헤드, 재패라미터화 기법을 추가함으로써 mIoU와 IoU가 향상되며 높은 추론 속도를 유지함을 확인했다.
• Jetson 기기에서의 전력 소모와 열 성능은 안정적이며, Xavier NX에서는 평균 12.5W의 전력 소비와 60°C 이하의 온도를 기록하여 에너지 효율성과 열 안정성을 입증했다.