[논문 리뷰] Vision-based Navigation of Autonomous Vehicle in Roadway Environments with Unexpected Hazards

Mhafuzul Islam, Mahsrur Chowdhury외 2명|arXiv (Cornell University)|2018. 09. 27.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 3

한 줄 요약

이 논문은 비정상적인 도로상의 위험요소—예를 들어 쓰레기나 차단물체—를 탐지하고 대응함으로써 자율주행 차량의 안전성을 향상시키기 위해 객체 검출과 의미 분할을 통합한 DNN 기반 시각 시스템을 제안한다. 실제 환경의 위험요소로 인한 적대적 유사 왜곡을 완화함으로써, 기존의 표준 DNN 접근 방식에 비해 주행 실패율을 21% 감소시킨다.

ABSTRACT

Vision-based navigation of autonomous vehicles primarily depends on the Deep Neural Network (DNN) based systems in which the controller obtains input from sensors/detectors, such as cameras and produces a vehicle control output, such as a steering wheel angle to navigate the vehicle safely in a roadway traffic environment. Typically, these DNN-based systems of the autonomous vehicle are trained through supervised learning; however, recent studies show that a trained DNN-based system can be compromised by perturbation or adversarial inputs. Similarly, this perturbation can be introduced into the DNN-based systems of autonomous vehicle by unexpected roadway hazards, such as debris and roadblocks. In this study, we first introduce a roadway hazardous environment (both intentional and unintentional roadway hazards) that can compromise the DNN-based navigational system of an autonomous vehicle, and produces an incorrect steering wheel angle, which can cause crashes resulting in fatality and injury. Then, we develop a DNN-based autonomous vehicle driving system using object detection and semantic segmentation to mitigate the adverse effect of this type of hazardous environment, which helps the autonomous vehicle to navigate safely around such hazards. We find that our developed DNN-based autonomous vehicle driving system including hazardous object detection and semantic segmentation improves the navigational ability of an autonomous vehicle to avoid a potential hazard by 21% compared to the traditional DNN-based autonomous vehicle driving system.

연구 동기 및 목표

• 의도적이거나 비의도적인 비정상적인 도로상의 위험요소가 자율주행 차량의 DNN 기반 주행 시스템에 어떤 영향을 미치는지 규명하는 것.
• 실제 환경의 위험요소인 쓰레기나 차단물체 등으로 인한 왜곡에 노출된 표준 DNN 기반 시스템의 취약성을 분석하는 것.
• 딥러닝을 활용해 위험 환경을 탐지하고 적응하는 강건한 시각 기반 주행 시스템을 개발하는 것.
• 변동적이고 예측 불가능한 도로 조건에서 자율주행 차량의 주행 안전성과 신뢰성을 향상시키는 것.

제안 방법

• 시스템은 카메라 입력을 기반으로 한 심층 신경망(DNN) 아키텍처를 사용하여 엔드 투 엔드 차량 제어를 수행한다.
• 실시간으로 쓰레기, 함정, 장애물과 같은 위험 요소를 식별하기 위해 객체 검출 기법을 활용한다.
• 도로 영역을 분류하고 주행 가능한 영역과 위험 영역을 구분하기 위해 의미 분할을 적용한다.
• DNN은 객체 검출 및 의미 분할의 출력을 통합하여 불확실한 조건에서 더 안전한 조향 명령을 생성한다.
• 모델은 라벨이 부여된 위험요소와 의미 클래스를 포함한 도로 환경 영상 데이터셋을 활용해 지도학습 방식으로 훈련된다.
• 시스템은 시뮬레이션 및 실제 도로 환경에서 평가되어 예측 불가능한 위험 조건 하에서의 주행 성공률을 측정한다.

실험 결과

연구 질문

• RQ1 쓰레기나 차단물체와 같은 비정상적인 도로상의 위험요소가 DNN 기반 자율주행 차량 주행 시스템의 성능에 어떤 영향을 미치는가?
• RQ2 객체 검출과 의미 분할이 위험 환경에서 DNN 기반 주행의 강건성을 얼마나 향상시킬 수 있는가?
• RQ3 표준 데이터로 훈련된 DNN 기반 시스템이 재훈련 없이도 실제 환경의 위험요소로 유도된 적대적 유사 왜곡을 어떻게 처리할 수 있는가?
• RQ4 객체 검출과 의미 분할을 통합함으로써 자율주행 제어에서 주행 안전성에 어떤 측정 가능한 향상이 이루어지는가?

주요 결과

• 통합된 객체 검출 및 의미 분할 기반의 제안된 DNN 기반 시스템은 위험 환경에서 기존의 표준 DNN 시스템 대비 주행 실패율을 21% 감소시켰다.
• 시스템은 쓰레기나 차단물체와 같은 비정상적인 위험요소를 성공적으로 탐지하고 대응하여 잘못된 조향 결정을 방지했다.
• 의미 분할은 주행 가능한 표면과 장애물 간의 구분 능력을 크게 향상시켜 경로 계획의 정확성을 높였다.
• 모델는 실제 환경의 위험요소에 의해 유도된 적대적 공격과 유사한 왜곡에 대해 강건성을 입증했다.
• 검출과 분할의 통합은 불확실한 도로 조건에서 더 정확하고 안전한 제어 출력을 도출하는 데 기여했다.
• 다양하고 동적인 교통 환경 전반에서 높은 성능을 유지하여 강력한 일반화 능력을 보였다.