[논문 리뷰] Find Your Own Way: Weakly-Supervised Segmentation of Path Proposals for Urban Autonomy

Dan Barnes, Will Maddern외 1명|arXiv (Cornell University)|2016. 10. 05.

Autonomous Vehicle Technology and Safety참고 문헌 27인용 수 9

한 줄 요약

이 논문은 단일 카메라와 데이터 수집 차량의 센서 데이터만을 사용하여 도시 주행 환경에서 주행 가능한 경로 및 장애물 감지를 위한 딥 세분화 네트워크를 약한 지도 학습 방식으로 훈련하는 방법을 제안한다. 차량의 이동 경로와 장애물 감지 데이터를 약한 지도로 활용하여 수동 레이블링 없이 대규모 자동 레이블링 훈련 데이터를 생성함으로써, KITTI 및 옥스포드 로봇카 데이터셋에서 다양한 조건에서 견고한 경로 및 장애물 세분화 성능을 달성한다.

ABSTRACT

We present a weakly-supervised approach to segmenting proposed drivable paths in images with the goal of autonomous driving in complex urban environments. Using recorded routes from a data collection vehicle, our proposed method generates vast quantities of labelled images containing proposed paths and obstacles without requiring manual annotation, which we then use to train a deep semantic segmentation network. With the trained network we can segment proposed paths and obstacles at run-time using a vehicle equipped with only a monocular camera without relying on explicit modelling of road or lane markings. We evaluate our method on the large-scale KITTI and Oxford RobotCar datasets and demonstrate reliable path proposal and obstacle segmentation in a wide variety of environments under a range of lighting, weather and traffic conditions. We illustrate how the method can generalise to multiple path proposals at intersections and outline plans to incorporate the system into a framework for autonomous urban driving.

연구 동기 및 목표

• 차선 표시가 없거나 일관되지 않은 복잡한 도시 환경에서 자율 경로 세분화의 과제 해결.
• 자율주행의 세분화에 있어 수동으로 레이블링된 데이터셋의 높은 비용과 확장성 한계 극복.
• 수동 픽셀 수준 레이블링이 필요 없이 차량 이동 경로와 장애물 감지 데이터의 약한 지도만을 사용하여 엔드 투 엔드 딥 세분화 네트워크 훈련 가능.
• 실제 도시 환경의 다양한 조명, 날씨 및 교통 조건에서 경로 제안 세분화의 견고한 일반화 성능 입증.
• 교차로에서 다중 경로 예측 기능 제공을 통해 토폴로지 기반 항법 및 향후 전면 자율주행 시스템 통합 지원.

제안 방법

• 기록된 차량 이동 경로와 장애물 감지 데이터(예: LiDAR 또는 초음파 센서에서 얻음)를 활용하여 단일 카메라 이미지 내 주행 가능한 경로 및 장애물에 대한 약한 지도 기반 픽셀 수준 레이블 생성.
• 카메라 캘리브레이션과 오도메트리 정보를 사용해 3D 이동 경로 및 장애물 데이터를 2D 이미지 공간으로 투영하여 가짜 정답 세분화 마스크 생성.
• 자동 생성된 레이블 데이터를 기반으로 표준 딥 세분화 네트워크(예: SegNet)를 훈련시켜 추론 시 단일 단일 카메라 이미지에서 경로 및 장애물 영역 예측.
• 데이터 수집 중 운전자의 일관된 행동을 활용하여, 표시되지 않은 또는 복잡한 도로에서도 경로 제안이 기대되는 주행 경로와 일치하도록 보장.
• 실제 주행 조건의 다양성을 통해 데이터 증강 및 도메인 적응 기법을 암묵적으로 적용.
• 훈련된 네트워크를 자율 주행 계획 파이프라인에 통합하여, 교차로에서 다중 예측 경로 제안 기반 경로 선택 기능 제공.

실험 결과

연구 질문

• RQ1 차량 이동 경로와 장애물 감지에서 유도된 약한 지도가 수동 픽셀 수준 레이블링 없이도 정확한 주행 가능한 경로 및 장애물 세분화를 가능하게 하는가?
• RQ2 약한 지도 학습 모델이 다양한 실세계 조건(예: 조도, 날씨, 교통 밀도 등)에서 얼마나 잘 일반화되는가?
• RQ3 훈련 데이터에 하나의 경로만 존재하더라도, 교차로에서 다수의 타당한 경로 제안을 예측할 수 있는가?
• RQ4 장애물 및 경로 세분화 정확도 측면에서 수동 레이블링 데이터셋으로 훈련된 모델과 비교해 성능는 어떻게 되는가?
• RQ5 이 방법이 도시 환경에서 명시적인 차선 표시 감지 또는 도로 구조 모델링에 대한 의존도를 얼마나 줄이는가?

주요 결과

• 약한 지도 학습 기반 접근법은 KITTI Object and Tracking 벤치마크에서 93.53% 픽셀 리콜과 99.55% 인스턴스 리콜(임계값 >50%)을 달성하여 수동 레이블링 데이터로 훈련된 모델들을 초월했다.
• 옥스포드 로봇카 데이터셋에서 모든 테스트 조건(맑은 날, 흐린 날, 비, 눈, 야간 등)에서 견고한 성능를 보였다.
• 교차로에서 네트워크가 자주 다수의 타당한 경로 제안을 예측하여 토폴로지 기반 경로 계획에 활용 가능함을 입증했다.
• 실패 케이스는 주로 센서 한계(과노출/과소노출, 좁은 시야각 등)로 인한 것으로 나타나, 향상된 카메라 하드웨어로 대부분의 문제를 완화할 수 있음.
• 모든 물체 클래스(차량, 보행자, 기타 물체)에 대해 장애물 세분화를 성공적으로 수행하여 안전 중심 응용 분야에서 강력한 일반화 능력을 보였다.
• 이 방법은 고비용 LiDAR나 명시적 차선 표시 모델링 없이도 단일 카메라만으로도 자율 경로 세분화를 가능하게 하여, 이에 대한 의존도를 제거했다.