[논문 리뷰] Computer Vision for Autonomous Vehicles

Rohit Gandikota|arXiv (Cornell University)|2018. 12. 06.

Advanced Neural Network Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 이미지 처리 및 딥러닝 기법을 활용한 실내 및 실외 자율 주행 차량을 위한 컴퓨터 비전 파이프라인을 제시한다. 카메라 캘리브레이션, 워터셰드 및 k-me안을 통한 바닥/장애물 세분화, 차선 검출, 도로 표지판 인식, HOG-SVM를 이용한 차량 검출, 그리고 CNN를 통한 조향 각도 예측을 구현하여 IIST의 자율 우편 배달 차량에 대한 강력한 객체 검출 및 국소화 성능을 달성하였다.

ABSTRACT

In this work, we try to implement Image Processing techniques in the area of autonomous vehicles, both indoor and outdoor. The challenges for both are different and the ways to tackle them vary too. We also showed deep learning makes things easier and precise. We also made base models for all the problems we tackle while building an autonomous car for Indian Institute of Space science and Technology.

연구 동기 및 목표

• 이미지 처리 기법을 활용한 실내 및 실외 자율 주행 차량을 위한 비전 기반 주행 시스템 개발.
• 실내 환경(바닥 패턴 인식, 장애물 탐지, 자기 위치 추정)과 실외 환경(차선 검출, 도로 표지판 인식, 차량 접근성)에서 발생하는 고유한 과제 해결.
• IIST의 자율 우편 배달 프로젝트를 위한 기본적인 컴퓨터 비전 파이프라인 수립.
• 기존의 이미지 처리 기법(워터셰드, k-means)과 딥러닝 접근법(CNN, HOG-SVM)을 평가하고 비교하여 강력한 인식 성능 확보.

제안 방법

• 알려진 치수를 가진 책과 측정 테이프를 사용하여 카메라 캘리브레이션을 수행하고, 픽셀-세계 거리 맵핑을 통해 초점 거리 계산.
• 가우시안 스무딩과 소벨 에지 검출을 적용한 후 히ュ프 변환을 사용하여 직사각형 책 외곽선을 검출하여 캘리브레이션.
• 워터셰드 세분화와 k-means 군집화를 사용하여 바닥과 장애물 간의 세분화를 수행하였으며, 노이즈 감소를 위한 사전 처리를 실시.
• 슬라이딩 윈도우 방식을 사용하여 HOG 특징과 선형 SVM을 적용한 차량 검출을 구현하였으며, 전체 이미지에서 HOG 특징 추출을 통해 효율성 향상.
• 다양한 거리에서의 차량 검출을 위해 다중 척도 윈도우 크기를 적용하였고, 특징의 부분 추출을 통해 계산 부담 감소.
• 히트맵과 임계값(0.5×max)을 사용하여 겹치는 바운딩 박스를 통합하고 임의의 양성 결과 제거.

실험 결과

연구 질문

• RQ1 어떻게 이미지 처리 기법을 효과적으로 활용하여 실내 자율 주행에서 바닥과 장애물을 구분할 수 있는가?
• RQ2 실외 자율 주행에서 차선 검출 및 도로 표지판 인식에 가장 효과적인 이미지 처리 및 딥러닝 기법은 무엇인가?
• RQ3 HOG 특징과 SVM 분류기 조합을 통해 차량 검출의 정확성과 효율성을 어떻게 최적화할 수 있는가?
• RQ4 히트맵과 임계값 처리를 통해 바운딩 박스 국소화 성능을 향상시키고 임의의 양성 결과를 얼마나 효과적으로 줄일 수 있는가?
• RQ5 다양한 인식 작업을 통합하여 자율 주행 차량 제어를 위한 통합 비전 파이프라인을 어떻게 구성할 수 있는가?

주요 결과

• 알려진 책과 측정 테이프를 사용한 카메라 캘리브레이션을 통해 픽셀 측정값에서 거리 추정이 가능해졌으며, 공식 D1 = (W×F)/P를 사용하여 정확도 향상.
• 워터셰드 세분화는 명확한 장애물 탐지 결과를 제공하였으며, 사전 처리 후 검은 영역이 장애물을 나타내었다.
• k-means 군집화는 바닥-장애물 세분화에 유망한 대안을 제공하였지만, 테스트 환경에서 워터셰드에 비해 결과가 덜 뚜렷하였다.
• HOG-SVM 파이프라인은 다양한 척도에서 차량을 성공적으로 검출하였으며, 히트맵 처리 후 각 차량에 대해 하나의 바운딩 박스로 출력.
• 히트맵과 0.5×max 임계값을 사용한 처리 방식이 임의의 양성 결과를 효과적으로 제거하고 겹치는 검출 결과를 하나의 정확한 바운딩 박스로 통합.
• 통합 시스템은 차선 검출, 도로 표지판 인식, 차량 검출, 조향 예측을 결합한 기능성 있는 파이프라인을 구현하여 IIST의 자율 우편 배달 차량을 위한 견고한 기반 제공.