[논문 리뷰] Driverseat: Crowdstrapping Learning Tasks for Autonomous Driving

Pranav Rajpurkar, Toki Migimatsu외 5명|arXiv (Cornell University)|2015. 12. 07.

Autonomous Vehicle Technology and Safety참고 문헌 22인용 수 4

한 줄 요약

Driverseat는 자율주행 시스템의 강건한 평가를 위해 인간 지능을 활용하여 복잡한 3D 차선 레이블을 생성하고 다양한 주행 시나리오를 태그하는 커뮤니티 기반 프레임워크를 도입한다. RoadEdit를 통한 커뮤니티 기반 레이블링과 TagEval을 통한 시나리오 기반 평가를 결합함으로써, 복합적인 3D 차선 레이블을 기반으로 컨volutional 신경망을 학습시키고, 그림자, 포장 변경, 분리 진입로와 같은 어려운 조건에서의 성능 취약점을 식별하여 시스템의 강건성을 크게 향상시킨다.

ABSTRACT

While emerging deep-learning systems have outclassed knowledge-based approaches in many tasks, their application to detection tasks for autonomous technologies remains an open field for scientific exploration. Broadly, there are two major developmental bottlenecks: the unavailability of comprehensively labeled datasets and of expressive evaluation strategies. Approaches for labeling datasets have relied on intensive hand-engineering, and strategies for evaluating learning systems have been unable to identify failure-case scenarios. Human intelligence offers an untapped approach for breaking through these bottlenecks. This paper introduces Driverseat, a technology for embedding crowds around learning systems for autonomous driving. Driverseat utilizes crowd contributions for (a) collecting complex 3D labels and (b) tagging diverse scenarios for ready evaluation of learning systems. We demonstrate how Driverseat can crowdstrap a convolutional neural network on the lane-detection task. More generally, crowdstrapping introduces a valuable paradigm for any technology that can benefit from leveraging the powerful combination of human and computer intelligence.

연구 동기 및 목표

• 포괄적인 레이블링 데이터셋과 강력한 평가 전략의 부족으로 인해 자율주행 연구에 발생하는 성능 저하 문제를 해결하기 위해.
• 실제 주행 환경에서의 인간 전문 지식을 활용하여 딥 러닝 모델 학습을 위한 고품질의 복잡한 3D 레이블을 생성하기 위해.
• 그림자, 도로 커브, 포장 변경과 같은 다양한 실제 주행 조건에서 학습 시스템을 체계적으로 평가하기 위한 방법을 개발하기 위해.
• 인간이 태그한 시나리오를 통해 자율주행 인식 시스템의 실패 케이스를 식별하고, 타겟팅된 데이터 수집과 모델 개선을 이끌어내기 위해.
• 인간과 기계 지능을 통합하는 '커뮤니티 기반 학습(Crowdstrapping)'의 패러다임을 수립하여 자율주행 시스템의 신뢰성과 강건성을 향상시키기 위해.

제안 방법

• Driverseat는 웹 기반 플랫폼을 사용하여 RoadEdit 도구를 통해 커뮤니티 작업자로부터 3D 차선 경계 레이블을 수집함으로써, 복잡한 도로 구조의 정확한 레이블링을 가능하게 한다.
• 시스템은 3D 차선 레이블을 2D 카메라 이미지로 투영하여 컨볼루션 신경망의 차선 검출 학습을 위한 대규모 고품질 데이터셋을 구축한다.
• 커뮤니티 레이블링 데이터셋을 기반으로 컨볼루션 신경망을 학습시키고, 다양한 깊이와 시나리오에서 정밀도와 재현율 지표를 사용해 평가한다.
• TagEval 프레임워크를 통해 레이아웃이 태그된 작업자들이 그림자, 분리 진입로, 포장 변경과 같은 특정 도로 조건을 태그할 수 있어 시나리오 기반 성능 평가가 가능해진다.
• 시스템은 인간이 태그한 시나리오 태그를 활용해 모델의 실패 원인을 고립하고 분석함으로써 타겟팅된 데이터 수집과 모델 정밀도 향상이 가능해진다.
• 초기 진짜 값 추정치는 자동으로 생성되어 인간의 작업 부담을 줄이고 레이블링 파이프라인의 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 인간 지능을 자율주행 인식 시스템의 학습 및 평가 파이프라인에 효과적으로 통합할 수 있는가?
• RQ2 어떤 실제 주행 시나리오가 차선 검출을 위한 딥 러닝 모델에 가장 큰 도전이 되는가?
• RQ3 커뮤니티 기반 레이블링이 자동화되거나 시뮬레이션된 레이블링 방법보다 고품질의 복잡한 3D 레이블을 생성할 수 있는가?
• RQ4 시나리오 기반 인간 태그링이 모델 실패 모드 식별에 얼마나 기여하는가?
• RQ5 어떻게 인간과 기계 지능을 체계적으로 통합하여 자율주행 시스템의 강건성을 향상시킬 수 있는가?

주요 결과

• 컨볼루션 신경망은 일반 조건에서 자동차의 중심 차선 경계 검출에서 뛰어난 성능을 보였으며, 짧고 중간 거리에서 정밀도와 재현율 지표가 높은 정확도를 보였다.
• 그림자와 포장 변경이 존재할 경우 성능이 크게 떨어졌으며, 이는 반사성 표면을 차선 마킹으로 잘못 해석하는 데 기인했다.
• 분리 진입로는 주요 과제였으며, 특히 갈라지는 차선을 탐지하는 데 있어 모델이 자주 새로운 차선을 놓쳤다.
• 도로 커브와 가림 현상에 대해서는 네트워크가 강건하게 유지되었으며, 차량이 일부 시야를 가로막더라도 차선 경계를 정확히 탐지했다.
• TagEval은 그림자와 포장 변경이 가장 어려운 시나리오임을 드러내었으며, 일부 경우에서 표준 조건 대비 성능이 20퍼센트 이상 떨어졌다.
• 시스템은 특정 실패 패tern을 성공적으로 식별하여 고위험 시나리오에서 모델 강건성을 향상시키기 위한 타겟팅된 데이터 수집이 가능해졌다.