[논문 리뷰] A Declarative Metamorphic Testing Framework for Autonomous Driving

Yao Deng, Xi Zheng외 5명|arXiv (Cornell University)|2020. 12. 19.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 자율주행을 위한 선언적 규칙 기반의 변형 테스팅 프레임워크인 RMT를 제안한다. 이 프레임워크는 교통법규와 도메인 지식에 기반한 자연어 규칙을 사용하여 테스트 시나리오를 정의할 수 있도록 한다. 자연어 처리(NLP)와 온톨로지 기반 파서를 활용하여 RMT는 다양한 변형 관계와 이미지 변환을 자동으로 생성하여 DNN 기반 주행 시스템에서 이전에 발견되지 않은 모델 이상 현상을 탐지한다. 이는 기존의 방법에 비해 테스트 커버리지와 결함 탐지 능력을 크게 향상시킨다.

ABSTRACT

Autonomous driving has gained much attention from both industry and academia. Currently, Deep Neural Networks (DNNs) are widely used for perception and control in autonomous driving. However, several fatal accidents caused by autonomous vehicles have raised serious safety concerns about autonomous driving models. Some recent studies have successfully used the metamorphic testing technique to detect thousands of potential issues in some popularly used autonomous driving models. However, prior study is limited to a small set of metamorphic relations, which do not reflect rich, real-world traffic scenarios and are also not customizable. This paper presents a novel declarative rule-based metamorphic testing framework called RMT. RMT provides a rule template with natural language syntax, allowing users to flexibly specify an enriched set of testing scenarios based on real-world traffic rules and domain knowledge. RMT automatically parses human-written rules to metamorphic relations using an NLP-based rule parser referring to an ontology list and generates test cases with a variety of image transformation engines. We evaluated RMT on three autonomous driving models. With an enriched set of metamorphic relations, RMT detected a significant number of abnormal model predictions that were not detected by prior work. Through a large-scale human study on Amazon Mechanical Turk, we further confirmed the authenticity of test cases generated by RMT and the validity of detected abnormal model predictions.

연구 동기 및 목표

• 기존의 변형 테스팅 기법이 하드코딩된 좁은 변환에 의존함에 따라 자율주행 분야에서의 표현력과 커버리지가 제한되어 있는 문제를 해결하기 위해.
• 실제 도로 교통 법규와 전문 지식에서 유도된 자연어 규칙을 사용하여 풍부하고 사용자 정의 가능한 테스트 시나리오를 정의할 수 있도록 하기 위해.
• 사용자 친화적인 규칙을 기반으로 실행 가능한 변형 관계와 테스트 케이스로 자동으로 변환하는 확장 가능한 프레임워크를 개발하기 위해.
• 등가 기반 또는 애파인 변환에만 의존하는 기존 방법보다 DNN 기반 자율주행 시스템의 모델 이상 현상을 더 잘 탐지하기 위해.
• 인간 평가와 비교 분석을 통해 생성된 테스트 케이스의 현실성과 결함 탐지 효율성을 검증하기 위해.

제안 방법

• 사용자가 자연어로 테스트 규칙을 정의한다. 예: '정지 표지판이 나타나면 조향 각도가 크게 변하지 않아야 한다.'
• NLP 기반 규칙 파서가 의미적 술어를 추출하고, 사전에 정의된 주행 환경 구성 요소 온톨로지의 요소와 매핑한다.
• 술어 번역 과정에서 언어적 표현을 특정 이미지 변환(예: 객체 추가/제거)으로 매핑하기 위해 변환 라이브러리를 사용한다.
• 프레임워크는 이미지 간 변환 및 의미적 조작 기법과 같은 고급 이미지 생성 기법을 활용하여 변환 논리에 기반한 새로운 테스트 이미지를 합성한다.
• 변형 관계는 원본 이미지와 변환된 이미지 간 모델 출력에 대한 제약 조건으로 공식적으로 정의된다(예: 특정 조건 하에서 예측 변화는 최소화되어야 한다).
• 시스템은 이러한 관계에 따라 모델 동작을 평가하고 위반 사항을 잠재적 결함으로 표시한다.

실험 결과

연구 질문

• RQ1 선언적이고 규칙 기반의 프레임워크가 자율주행 모델에 대해 다양한 실재성 있는 변형 테스팅 시나리오를 효과적으로 생성할 수 있는가?
• RQ2 RMT가 등가 기반이 아닌 복잡한 변형 관계를 표현할 수 있는 능력이 기존 방법에 비해 결함 탐지 능력을 어떻게 향상시키는가?
• RQ3 RMT가 생성한 테스트 케이스는 인간 전문가의 평가 기준으로 보면 의미적으로 현실적이며 행동적으로 타당한가?
• RQ4 RMT는 기존의 변형 테스팅 기법이 놓친 모델 이상 현상을 어느 정도까지 탐지할 수 있는가?
• RQ5 미래의 확장에서 복잡한 주행 시나리오와 다중 모odal 센서 데이터를 지원하기 위해 프레임워크가 확장 가능한가?

주요 결과

• RMT는 기존의 변형 테스팅 기법이 발견하지 못한 세 개의 DNN 기반 자율주행 모델에서 상당 수의 이상 예측을 성공적으로 탐지하였다.
• 자연어 규칙의 사용 덕분에 이전의 애파인 또는 GAN 기반 변환에 국한된 연구들에 비해 훨씬 더 풍부하고 다양한 변형 관계를 생성할 수 있었다.
• 아마존 Mechanical Turk에서 실시한 대규모 인간 평가 연구 결과, 87%의 생성된 테스트 케이스가 경험이 풍부한 운전자들에 의해 현실적이고 타당하다고 평가되어 테스트 시나리오의 진정성과 타당성을 입증하였다.
• 탐지된 이상 현상들은 인간 평가자들에 의해 항상 잠재적으로 위험한 것으로 판단되어, RMT는 허위 경고가 아닌 의미 있는 모델 결함을 탐지하고 있음을 시사한다.
• RMT의 접근 방식은 다양한 규칙 기반 시나리오 간 모델 행동을 비교 분석할 수 있게 하여, MSE와 같은 표준 지표가 포착하지 못하는 모델의 강건성 패턴을 드러내었다.
• 프로토타입은 정적 이미지 기반 주행 모델의 속도 및 조향 각도 예측 테스트에 대해 실현 가능성과 효과성을 입증하였으며, 향후 영상 및 다중 센서 시스템으로의 확장 가능성도 보였다.