[논문 리뷰] TARGET: Automated Scenario Generation from Traffic Rules for Testing Autonomous Vehicles via Validated LLM-Guided Knowledge Extraction

Yao Deng|arXiv (Cornell University)|2023. 05. 10.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

TARGET는 자연어 교통규칙에서 대규모 언어모델(GPT-4)을 사용해 규칙을 추출하고 매핑하여 고유한 도메인 특화 언어(DSL)로 변환함으로써 자율주행 테스트 시나리오를 자동 생성하는 엔드 투 엔드 프레임워크이다. 이 프레임워크는 시뮬레이션용 실행 가능한 시나리오 스크립트를 생성하여 네 대의 자율주행 시스템에서 700개 이상의 규칙 위반과 시스템 장애를 발견했으며, 상세한 로그를 제공해 효율적인 디버깅을 가능하게 한다.

ABSTRACT

Recent incidents with autonomous vehicles highlight the need for rigorous testing to ensure safety and robustness. Constructing test scenarios for autonomous driving systems (ADSs), however, is labor-intensive. We propose TARGET, an end-to-end framework that automatically generates test scenarios from traffic rules. To address complexity, we leverage a Large Language Model (LLM) to extract knowledge from traffic rules. To mitigate hallucinations caused by large context during input processing, we introduce a domain-specific language (DSL) designed to be syntactically simple and compositional. This design allows the LLM to learn and generate test scenarios in a modular manner while enabling syntactic and semantic validation for each component. Based on these validated representations, TARGET synthesizes executable scripts to render scenarios in simulation. Evaluated seven ADSs with 284 scenarios derived from 54 traffic rules, TARGET uncovered 610 rule violations, collisions, and other issues. For each violation, TARGET generates scenario recordings and detailed logs, aiding root cause analysis. Two identified issues were confirmed by ADS developers: one linked to an existing bug report and the other to limited ADS functionality.

연구 동기 및 목표

• 자연어 교통규칙을 사용해 자율주행 시스템(ADSs)의 테스트 시나리오를 수동으로 정의하는 데 드는 노동력과 실수의 위험을 해결한다.
• 기존의 DSL 및 자연어 처리 기반 규칙 추출 방법의 한계를 극복하여 수동 단순화가 필요하거나 문법적 복잡성이 문제가 되는 문제를 해결한다.
• 실제 도로 상의 교통규칙 기술문서를 자연어 그대로 직접 사용해 자동화되고 확장 가능하며 정확도가 높은 테스트 시나리오 생성을 가능하게 한다.
• 인간의 노력 감소와 엣지 케이스 및 규칙 위반 사항의 커버리지 증가를 통해 자율주행 시스템 테스트의 효율성과 효과성을 향상시킨다.
• 발생한 문제의 근본 원인 분석 및 자율주행 시스템 동작의 검증을 지원하기 위해 상세한 진단 보고서와 시나리오 기록을 제공한다.

제안 방법

• 자연어 기반 교통규칙 기반 테스트 시나리오를 간단한 문법으로 기술할 수 있도록 설계된 경량이면서도 표현력이 뛰어난 도메인 특화 언어(DSL)를 설계한다.
• GPT-4를 사용하여 자연어 교통규칙을 분석하고 DSL 표현으로 매핑하기 위해 다단계 컨텍스트 기반 few-shot 학습 프롬프트 엔지니어링 기법을 적용한다.
• 사전 기반 검색과 계층적 지도 기반 경로 검색을 활용해 정확하게 시나리오 매개변수를 채우는 템플릿 기반 시나리오 생성 파이프라인을 구현한다.
• Carla 시뮬레이터의 네이티브 API를 통합하여 시뮬레이션 실행을 위한 실행 가능한 시나리오 스크립트를 생성한다.
• LLM 추론과 문법 검증을 조합한 규칙 파싱 파이프라인을 적용하여 DSL 준수 여부를 보장하고 파싱 정확도를 향상시킨다.
• 각 테스트 실행마다 규칙 위반, 충돌, 주행 실패 등의 로그를 포함한 포괄적인 테스트 보고서와 시나리오 기록을 생성한다.

실험 결과

연구 질문

• RQ1 대규모 언어모델이 자연어 교통규칙에서 핵심 요소를 효과적으로 추출하고 테스트 시나리오 생성을 위한 형식적 DSL 표현으로 정렬할 수 있는가?
• RQ2 제안된 LLM 유도 파싱 파이프라인은 기존 수동 또는 전통적인 NLP 방법에 비해 실제 교통규칙을 실행 가능한 시나리오 스크립트로 정확하게 변환하는 데 얼마나 효과적인가?
• RQ3 생성된 시나리오가 자율주행 시스템에서 기존에 알려지지 않은 또는 기존의 규칙 위반과 시스템 장애를 얼마나 잘 발견할 수 있는가?
• RQ4 이 프레임워크의 자동화된 시나리오 생성 방식은 높은 시나리오 다양성과 커버리지 유지를 유지하면서도 수동 테스트 작성의 부담을 얼마나 줄이는가?
• RQ5 이 프레임워크에서 생성된 진단 출력(로그 및 기록)은 식별된 자율주행 시스템 문제에 대한 신뢰할 수 있는 근본 원인 분석을 지원할 수 있는가?

주요 결과

• TARGET는 텍사스 운전수첩의 교통규칙을 활용해 여덟 개의 다양한 지도에서 총 217개의 테스트 시나리오를 성공적으로 생성했다.
• 이 프레임워크는 네 대의 자율주행 시스템(LAV, MMFN, AUTO, Autoware)에서 약 700개의 고유한 오류 행동(규칙 위반, 충돌, 주행 실패 포함)을 발견했다.
• 절단 실험을 통해 제안된 LLM 유도 파싱 파이프라인이 단순 GPT-4 생성보다 우수한 성능을 보였으며, 체계적인 프롬프트 엔지니어링의 가치를 입증했다.
• 규칙 파서는 벤치마크 교통규칙을 DSL로 표현하는 데 91.8%의 정확도를 달성하여 자연어 교통규칙 의미론을 잘 이해하고 있음을 시사한다.
• ADS 개발자들이 확인한 두 가지 이전에 알려지지 않은 문제: Autoware에서 정적 물체를 인식하지 못하는 인지 실패, MMFN에서 국소화 정확도 저하.
• 검출된 문제 중 하나는 이미 공개된 버그 리포트에 기록되어 있어, 프레임워크가 실제 자율주행 시스템 결함을 탐지할 수 있는 능력을 검증했다.