[논문 리뷰] End to End Video Segmentation for Driving : Lane Detection For Autonomous Car

Wenhui Zhang, Tejas Mahale|arXiv (Cornell University)|2018. 12. 13.

Autonomous Vehicle Technology and Safety참고 문헌 6인용 수 25

한 줄 요약

이 논문은 자율 주행을 위한 엔드 투 엔드 영상 세분화 프레임워크를 제안하며, 잔차 기반 경계 정밀화와 Adam 최적화를 갖춘 글로벌 컨volution 네트워크(GCN)를 사용하여 최신 기술 수준의 차선 검출 성능을 달성한다. 시스템은 차량에서 엣지 서버로 실시간 영상 스트리밍을 활용하여 GPU 가속 훈련을 수행하고, 최적화된 모델을 다시 차량으로 배포함으로써 다양한 조건에서 테스트 MSE 57.5875를 기록하고 과적합을 최소화한다.

ABSTRACT

Safety and decline of road traffic accidents remain important issues of autonomous driving. Statistics show that unintended lane departure is a leading cause of worldwide motor vehicle collisions, making lane detection the most promising and challenge task for self-driving. Today, numerous groups are combining deep learning techniques with computer vision problems to solve self-driving problems. In this paper, a Global Convolution Networks (GCN) model is used to address both classification and localization issues for semantic segmentation of lane. We are using color-based segmentation is presented and the usability of the model is evaluated. A residual-based boundary refinement and Adam optimization is also used to achieve state-of-art performance. As normal cars could not afford GPUs on the car, and training session for a particular road could be shared by several cars. We propose a framework to get it work in real world. We build a real time video transfer system to get video from the car, get the model trained in edge server (which is equipped with GPUs), and send the trained model back to the car.

연구 동기 및 목표

• 다양한 도로 및 기상 조건에서 정확하고 실시간으로 차선을 검출하는 데 도전하는 것.
• 차량 내 하드웨어 제약을 극복하기 위해 GPU 집약적인 훈련을 엣지 서버로 오프로드하면서도 실시간 추론 능력을 유지하는 것.
• GCN 아키텍처에서 잔차 기반 경계 정밀화 기법과 Adam 최적화를 통해 세분화 정확도를 향상시키는 것.
• 모델을 엣지 서버에서 훈련하고 자원이 제한된 차량으로 효율적으로 모델을 전송할 수 있는 구현 가능한 프레임워크를 개발하는 것.
• MSE 및 MAE와 같은 정량적 지표를 사용하여 다양한 환경 조건에서의 성능을 평가하는 것.

제안 방법

• 세분화를 위해 전역 컨볼루션 네트워크(GCN)를 사용하여 차선 표시를 분류하고 위치를 동시에 처리하는 엔드 투 엔드 방식을 구현한다.
• 강도 및 색채도 특징을 활용하여 배경 및 다른 도로 객체와 차선 표시를 구분하기 위해 색상 기반 세분화를 적용한다.
• 에코더-디코더 아키텍처는 배치 정규화와 최대 풀링을 포함한 컨볼루션 계층으로 구성되며, 필터 수를 점진적으로 증가시켜(8, 16, 20, 32) 공간 해상도를 감소시킨다.
• 예측된 차선 경계의 정밀도를 향상시키기 위해 잔차 기반 경계 정밀화 기법을 적용한다.
• Adam 최적화기를 사용하며, 전역 배치 크기 64, 초깃학습률 0.001, 가중치 감쇠 0.9, 동력 0.999를 설정한다.
• 실시간 영상 전송 시스템을 통해 라즈베리 파이에 장착된 카메라에서 발생하는 영상 스트림을 엣지 서버로 전송하여 훈련을 수행하고, 이후 모델을 차량으로 다시 전송한다.

실험 결과

연구 질문

• RQ1 색상 기반 특징만을 사용하여 다양한 실제 주행 조건에서 GCN 기반 모델이 높은 정확도의 차선 검출을 달성할 수 있는가?
• RQ2 기본 세분화 네트워크와 비교할 때, 잔차 기반 경계 정밀화 기법은 예측된 차선 경계의 정밀도 향상에 얼마나 효과적인가?
• RQ3 제한된 GPU 능력을 지닌 차량에 경량 모델을 배포하는 것과 엣지 서버에서 훈련하는 것 사이의 성능 상충 관계는 어떠한가?
• RQ4 제안된 실시간 영상 전송 및 모델 업데이트 파이프라인은 자율 주행 차량에서 딥 러닝 모델의 실용적 구현을 얼마나 잘 지원하는가?
• RQ5 MSE 및 MAE 지표가 훈련, 검증, 테스트 세트 간에 어떻게 비교되는가? 이는 일반화 능력과 과적합 여부를 어떻게 반영하는가?

주요 결과

• 모델은 테스트 세트에서 평균 제곱 오차(MSE) 57.5875를 기록하여 강력한 일반화 능력과 낮은 과적합을 보였다.
• 검증 및 테스트 MSE 값이 유사하게 유지되었으며(61.4360 및 57.5875), 안정적인 성능과 낮은 과적합을 나타냈다.
• 테스트 세트에서 평균 절대 오차(MAE)는 2.2104였으며, 이는 차선 경계 예측의 높은 픽셀 수준 정확도를 확인했다.
• FCN-8s(MSE: 65.3) 및 DeepLabv2-CRF(MSE: 70.4)를 포함한 여러 최신 기술 수준의 방법들과 비교해 동일한 테스트 세트에서 더 뛰어난 성능을 보였다.
• 훈련 손실은 계속 감소했지만, 40번째 반복 이후부터 검증 손실이 상승하기 시작하여 과적합을 방지하기 위해 40 에포크에서 조기 정지하는 것이 타당하다고 판단되었다.
• 테스트 이미지에 대한 시각적 비교 결과, 모델이 차량의 형태와 차선 경계 구조를 정확히 포착했으며, 개별 테스트 이미지의 MSE 값은 각각 48.8590과 63.3626이었다.