[논문 리뷰] Facing ADAS validation complexity with usage oriented testing

Laurent Raffaelli, Frederique Vallée외 7명|arXiv (Cornell University)|2016. 02. 22.

Software Reliability and Analysis Research인용 수 15

한 줄 요약

이 논문은 시각 기반 기능을 포함한 고도화된 운전자 보조 시스템(ADAS)을 검증하는 데 점점 더 복잡해지는 과제를 해결하기 위해 사용자 중심 테스팅 프레임워크를 제안한다. 실제 주행 환경과 대표적인 사용 프로파일에 초점을 맞추어, 광범위한 물리적 테스트에 의존하는 것을 줄이고, 다양한 운영 조건에서의 강건성과 안전성을 확보하면서도 더 효율적이고 목표 지향적인 검증을 가능하게 한다.

ABSTRACT

Validating Advanced Driver Assistance Systems (ADAS) is a strategic issue, since such systems are becoming increasingly widespread in the automotive field. ADAS bring extra comfort to drivers, and this has become a selling point. But these functions, while useful, must not affect the general safety of the vehicle which is the manufacturer's responsibility. A significant number of current ADAS are based on vision systems, and applications such as obstacle detection and detection of pedestrians have become essential components of functions such as automatic emergency braking. These systems that preserve and protect road users take on even more importance with the arrival of the new Euro NCAP protocols. Therefore the robustness and reliability of ADAS functions cannot be neglected and car manufacturers need to have tools to ensure that the ADAS functions running on their vehicles operate with the utmost safety. Furthermore, the complexity of these systems in conjunction with the nearly infinite number of parameter combinations related to the usage profile of functions based on image sensors push us to think about testing optimization methods and tool standards to support the design and validation phases of ADAS systems. The resources required for the validation using current methods make them actually less and less adapted to new active safety features, which induce very strong dependability requirements. Today, to test the camera-based ADAS, test vehicles are equipped with these systems and are performing long hours of driving that can last for years. These tests are used to validate the use of the function and to verify its response to the requirements described in the specifications without considering the functional safety standard ISO26262.

연구 동기 및 목표

• 시각 시스템에 의존하는 현대 ADAS 기능의 검증이 점점 더 복잡해지고 자원 소모가 심해지는 문제를 해결한다.
• 장기간에 걸친 물리적 주행 테스트에 의존하는 전통적 테스팅 방법의 한계를 극복한다.
• 모든 매개변수 조합을 포괄하는 것보다는 실제 사용 프로파일에 초점을 맞춰 검증 효율성을 향상시킨다.
• 특히 유로 NCAP 프로토콜의 변화에 대비하여 다양한 주행 조건에서 ADAS 기능의 기능적 안전성과 신뢰성을 확보한다.
• 비현실적으로 높은 테스트 비용이 수반되는 활성 안전 시스템의 신뢰성 요구사항을 충족시킬 수 있도록 자동차 산업을 지원한다.

제안 방법

• 실제 사용 패턴의 통계 분 析를 기반으로 실제 주행 환경을 우선시하는 사용자 중심 테스팅 방법론을 개발한다.
• 도심, 고속도로, 저시인성 조건 등 ADAS 기능(예: 자동 긴급 브레이킹)에 관련된 핵심 사용 프로파일을 식별하고 모델링한다.
• 이 프로파일을 활용해 무작위 또는 포괄적인 조합이 아닌 고영향도 운영 시나리오를 반영한 타겟 테스트 케이스를 생성한다.
• 개발 및 검증 프로세스를 이끄는 데 기여하기 위해 설계 및 검증 라이프사이클에 이 방법을 통합한다.
• 실제 주행 데이터와 시뮬레이션을 활용해 테스트 커버리지를 校정하고, 안전성과 관련성이 높은 극단적 케이스를 우선순위에 따라 정렬한다.
• 광범위한 스펙트럼 테스트에 의존하는 대신 시나리오 중심의 고정밀 검증으로 장기적인 물리적 테스트 주행에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 시각 기반 시스템의 매개변수 조합이 기하급수적으로 증가하는 상황에서 ADAS 검증을 어떻게 더 효율적으로 수행할 수 있는가?
• RQ2 실제 주행 사용 프로파일은 테스트 커버리지 향상과 검증 시간 단축에 어떤 역할을 하는가?
• RQ3 사용자 중심 테스팅이 ADAS 기능에 대해 기존의 장기간 물리적 테스트를 어느 정도 대체할 수 있는가?
• RQ4 이 방법은 포괄적인 테스트 없이도 안전에 중대한 영향을 미칠 수 있는 극단적 케이스를 충분히 커버할 수 있는가?
• RQ5 고위험 또는 고영향도 주행 시나리오를 반영하는 대표적인 사용 프로파일을 선정하는 데 핵심적인 기준은 무엇인가?

주요 결과

• 사용자 중심 테스팅은 고영향도 실제 주행 시나리오에 집중함으로써 장기적인 물리적 테스트 주행이 크게 감소한다.
• 이 방법은 보행자 및 장애물 탐지와 같은 시각 기반 ADAS 기능의 더 효율적이고 목표 지향적인 검증을 가능하게 한다.
• 대표적인 사용 프로파일을 모델링함으로써 자원 소비를 줄이면서도 테스트 커버리지를 향상시킨다.
• ISO 26262와 같은 기능적 안전 표준 준수를 지원하여 비상 상황에서의 강건성을 확보한다.
• 유로 NCAP에서 도입한 새로운 규제 요구사항에 대응할 수 있는 ADAS 기능 검증 능력을 향상시킨다.
• 포괄적 테스트에서 시나리오 중심 검증으로의 전환은 개발 주기를 단축시키고 안전 확보 수준을 향상시킨다.