[논문 리뷰] Testing of Autonomous Driving Systems: Where Are We and Where Should We Go?

Guannan Lou, Yao Deng외 3명|arXiv (Cornell University)|2021. 06. 23.

Software Testing and Debugging Techniques참고 문헌 69인용 수 4

한 줄 요약

이 논문은 10명의 자율주행시스템(ADS) 개발자와 100명의 전문가를 대상으로 한 인터뷰와 설문 조사를 통해 자율주행시스템(ADS) 테스팅 기법과 필요성에 대한 종합적인 실증 연구를 제시한다. 연구에서는 일곱 가지 일반적인 테스팅 기법과 코너 케이스 탐지, 테스트 가속화, 시나리오 작성, 데이터 레이블링이라는 네 가지 새로운 필요성을 밝혀내며, 기존 소프트웨어공학(Se) 연구가 다중 모듈 시스템을 거의 다루지 않고, 테스트 속도 및 도구 지원과 같은 실용적 필요성에 대해서도 부족하게 다루고 있음을 드러낸다.

ABSTRACT

Autonomous driving has shown great potential to reform modern transportation. Yet its reliability and safety have drawn a lot of attention and concerns. Compared with traditional software systems, autonomous driving systems (ADSs) often use deep neural networks in tandem with logic-based modules. This new paradigm poses unique challenges for software testing. Despite the recent development of new ADS testing techniques, it is not clear to what extent those techniques have addressed the needs of ADS practitioners. To fill this gap, we present the first comprehensive study to identify the current practices and needs of ADS testing. We conducted semi-structured interviews with developers from 10 autonomous driving companies and surveyed 100 developers who have worked on autonomous driving systems. A systematic analysis of the interview and survey data revealed 7 common practices and 4 emerging needs of autonomous driving testing. Through a comprehensive literature review, we developed a taxonomy of existing ADS testing techniques and analyzed the gap between ADS research and practitioners' needs. Finally, we proposed several future directions for SE researchers, such as developing test reduction techniques to accelerate simulation-based ADS testing.

연구 동기 및 목표

• 실제 개발 환경에서 자율주행시스템(ADS) 테스팅에 대한 현재 산업적 관행을 이해하기 위해.
• 기존 소프트웨어공학(SE) 연구에서 충분히 다루지 못하는 ADS 전문가들의 새로운 테스팅 필요성을 특정하기 위해.
• 기존 SE 연구에서 제시하는 ADS 테스팅 기법이 산업 현장의 실제 필요성과 얼마나 일치하는지 평가하기 위해.
• 실증적 증거에 기반한 향후 연구 방향을 제안함으로써 학술 연구와 산업 실무 간 격차를 메우기 위해.

제안 방법

• 다양한 자율주행 기업에서 온 10명의 개발자들과의 반구조적 인터뷰를 통해 실제 테스팅 기법과 과제를 탐구하였다.
• 1,978명의 ADS 개발자에게 대규모 설문 조사를 설계하고 배포하여 100건의 유효 응답을 확보하여 인터뷰 결과를 정량화하고 검증하였다.
• 117편의 SE 학술 회의 및 저널 논문을 체계적으로 검토하고, ADS 테스팅에 중점을 둔 42편을 선별하여 기존 기법의 분류 체계를 수립하였다.
• 질적 인터뷰 데이터, 정량적 설문 응답, 문헌 검토 결과를 종합하여 패턴, 격차, 연구 기회를 식별하였다.
• 주제 분석을 통해 인터뷰 및 설문 응답을 코딩할 때 상호 평가자 간 일致성을 확보하기 위해 코헨의 카파(0.85)를 사용하였다.
• 발견된 격차를 바탕으로, 테스트 축소, 시나리오 생성, 복잡한 ADS 워크플로우를 위한 도구 지원 등 향후 연구 방향을 제안하였다.

실험 결과

연구 질문

• RQ1 현재 자율주행시스템(ADS) 테스팅에 대한 산업적 관행는 무엇인가?
• RQ2 테스팅 도구 및 방법론 측면에서 ADS 전문가들이 새로운 필요로 하는 것은 무엇인가?
• RQ3 기존 소프트웨어공학 연구에서 제시하는 ADS 테스팅 기법이 산업적 필요성과 실무 관행과 얼마나 일치하는가?
• RQ4 실제로 엔드 투 엔드 모델과 다중 모듈 ADS 아키텍처 간 테스팅 기법은 어떻게 다를까?

주요 결과

• 일곱 가지 일반적인 테스팅 기법이 확인되었으며, 일관성과 지연 시간과 같은 시스템 수준의 메트릭이 표준 모델 정확도 메트릭에서 일반적으로 다루지 않는다는 점이 확인되었다.
• 네 가지 핵심적인 새로운 필요성이 드러났다: 코너 케이스 및 예측 불가능한 주행 시나리오 탐지, 테스트 가속화(특히 시뮬레이션), 복잡한 주행 시나리오 구축을 위한 도구 지원, 데이터 레이블링 지원.
• 코너 케이스 탐지 문제는 SE 연구에서 잘 다루어져 있지만, 테스트 가속화 및 시나리오/도구 지원 문제는 기존 문헌에서 부족하게 다뤄지고 있다.
• 대부분의 기존 ADS 테스팅 기법은 엔드 투 엔드 딥 러닝 모델을 대상으로 설계되었지만, 산업 현장에서는 인식 네트워크와 논리 기반 제어기의 조합을 포함한 모듈식 아키텍처를 점점 더 많이 사용하고 있다.
• 현재 SE 연구와 산업적 필요성 사이에 상당한 불일치가 존재하며, 특히 시뮬레이션 기반 테스팅에 대한 실용적 도구 지원 및 성능 최적화 측면에서 두드러진다.
• 본 연구는 시뮬레이션 테스팅의 가속화를 위한 핵심적인 향후 연구 방향으로 테스트 축소 기법을 식별하였으며, 이는 산업적 ADS 개발에서 주요 병목 현상이다.