[논문 리뷰] Affordance Learning In Direct Perception for Autonomous Driving

Chen Sun, Jean Marie Uwabeza Vianney외 1명|arXiv (Cornell University)|2019. 03. 20.

Autonomous Vehicle Technology and Safety참고 문헌 23인용 수 8

한 줄 요약

이 논문은 구글 스트리트 뷰 이미지와 오픈스트리트맵 벡터 데이터로부터 주행 가능성을 학습하는 맞춤형 CNN을 훈련시켜 자율주행을 위한 직접적 인식 접근법을 제안한다. 이는 전이 학습 모델과 비슷한 성능을 달성하면서도 훈련 데이터의 약 1/3만을 사용한다. 이 방법은 다양한 지리적 지역과 주행 조건에서 강력한 일반화 능력을 보이며, 저비용·효율적인 데이터 수집 및 레이블링을 가능하게 한다.

ABSTRACT

Recent development in autonomous driving involves high-level computer vision and detailed road scene understanding. Today, most autonomous vehicles are using mediated perception approach for path planning and control, which highly rely on high-definition 3D maps and real time sensors. Recent research efforts aim to substitute the massive HD maps with coarse road attributes. In this paper, we follow the direct perception based method to train a deep neural network for affordance learning in autonomous driving. Our goal in this work is to develop the affordance learning model based on freely available Google Street View panoramas and Open Street Map road vector attributes. Driving scene understanding can be achieved by learning affordances from the images captured by car-mounted cameras. Such scene understanding by learning affordances may be useful for corroborating base maps such as HD maps so that the required data storage space is minimized and available for processing in real time. We compare capability in road attribute identification between human volunteers and our model by experimental evaluation. Our results indicate that this method could act as a cheaper way for training data collection in autonomous driving. The cross validation results also indicate the effectiveness of our model.

연구 동기 및 목표

• 고비용 고정밀 지도에 의존하지 않고도 저비용이며 확장 가능한 자율주행 인지 모델 훈련 방법을 개발하기 위해.
• 구글 스트리트 뷰와 오픈스트리트맵과 같은 무료로 이용 가능한 지리공간 데이터를 활용하여 데이터 수집 및 레이블링의 효율성을 높이기 위해.
• 다양한 지리적 지역과 주행 조건에서 주행 가능성 학습 모델의 일반화 능력을 검증하기 위해.
• 정적 레이블이 아닌 맥락 기반 장면 이해에 기반하여 주행 가능성의 정의를 보완하기 위해.
• 사전 훈련된 모델이 아닌 비사전 훈련된 CNN이 상태최선의 모델과 유사한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 구글 스트리트 뷰 파노라마와 오픈스트리트맵 벡터 데이터를 활용하여 수동 레이블링 없이 자동으로 훈련 데이터를 레이블링한다.
• VGG11과 AlexNet 기반의 맞춤형 CNN 아키텍처를 설계하여, 단일 전방 카메라 이미지에서 도로 주행 가능성을 탐지하도록 무작위 초기화 상태에서 훈련한다.
• KITTI 데이터셋 이미지와 원래 입력 크기가 호환되지 않는 점을 보완하기 위해, 모델 적응 시에 왜곡을 줄이기 위해 새로운 리사이징 요소(RF)를 적용한다.
• 모델의 일반화 능력과 강건성을 평가하기 위해 교차검증 및 다중 지역 테스트(워털러, 캘리포니아, 유럽)를 수행한다.
• 도로 구역, 자전거 차선, 교통 특징 등을 식별할 수 있도록 주행 맥락에 기반한 주행 가능성 정의를 개선한다.
• 새로운 지리적 데이터에서 자동 레이블링 파이프라인의 유효성을 검증하여, 원래의 샌프란시스코 데이터셋을 초월한 신뢰성도 확인한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 ImageNet 또는 Places 모델을 사용하지 않고도 맞춤형 트레이닝된 CNN이 경쟁력 있는 주행 가능성 예측 성능을 달성할 수 있는가?
• RQ2 구글 스트리트 뷰와 오픈스트리트맵를 활용한 자동 레이블링 파이프라인은 다양한 지리적 지역에서 얼마나 효과적인가?
• RQ3 훈련된 모델이 KITTI 데이터셋(유럽에서 촬영)과 같이 예측되지 않은 주행 환경으로까지 얼마나 잘 일반화되는가?
• RQ4 리사이징으로 인한 입력 이미지 왜곡이 차량 헤딩 각도 예측의 회귀 성능에 어떤 영향을 미치는가?
• RQ5 정적 지리공간 데이터(Osm)와 파노라마 이미지(GSV)가 도로 공사나 기상 변화와 같은 동적 도로 조건을 포착하는 데에는 어떤 한계가 있는가?

주요 결과

• 제안된 맞춤형 CNN은 전이 학습된 가중치를 사용한 모델들과 유사한 성능을 달성했으며, 훈련 이미지 수가 약 1/3에 불과한 상태에서 무작위 초기화로부터 훈련된 점을 감안할 때 놀라운 성능을 보였다.
• 모델은 다양한 지리적 지역에서 강력한 일반화 능력을 보였으며, 캐나다 워털러, 미국 샌프란시스코, 유럽의 KITTI 데이터에서 모두 주행 가능성을 성공적으로 예측했다.
• 리사이징 요소(RF) 적용으로 KITTI 이미지에서의 헤딩 각도 예측 정확도가 크게 향상되어, 왜곡으로 인한 오류가 감소했다.
• 자동 레이블링 파이프라인은 새로운 지리적 환경(워털러)에서 검증되었으며, 원래 샌프란시스코 데이터셋을 초월한 강건성도 확인되었다.
• 레이블링 정확도의 한계는 GSV 데이터의 GPS/IMU 위치 오차와 특히 신호 차단이나 노후화된 도로 속성으로 인한 OSM 데이터의 일관성 부족에서 기인했다.
• 도로 공사나 악천후와 같은 동적 변화는 정적 GSV 및 OSM 데이터로는 포착되지 않아, 향후 모델에 동적 데이터 통합이 필요함을 시사했다.