[논문 리뷰] Learning Timed Automata via Genetic Programming

Martin Tappler, Bernhard K. Aichernig외 2명|arXiv (Cornell University)|2018. 08. 23.

Software Testing and Debugging Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 시간 추적 데이터에서 결정론적 타임드 아우토마타(TA)를 자동으로 학습하기 위해 유전적 프로그래밍 기법을 제안한다. 변이, 교차 및 적합도 평가를 통해 테스트 데이터와 일치하는 모델을 진화시킨다. 이 방법은 실제 및 무작위로 생성된 예제를 포함한 44개 시스템에서 강력한 일반화와 수렴성을 보이며, 블랙박스 실시간 시스템 모델링의 타당성을 입증한다.

ABSTRACT

Model learning has gained increasing interest in recent years. It derives behavioural models from test data of black-box systems. The main advantage offered by such techniques is that they enable model-based analysis without access to the internals of a system. Applications range from fully automated testing over model checking to system understanding. Current work focuses on learning variations of finite state machines. However, most techniques consider discrete time. In this paper, we present a method for learning timed automata, finite state machines extended with real-valued clocks. The learning method generates a model consistent with a set of timed traces collected by testing. This generation is based on genetic programming, a search-based technique for automatic program creation. We evaluate our approach on 44 timed systems, comprising four systems from the literature and 40 randomly generated examples.

연구 동기 및 목표

• 블랙박스 시스템 관찰에서 타임드 아우토마타를 학습하기 위한 확장 가능하고 효과적인 기법의 부족을 해결하기 위해.
• 내부 시스템 액세스가 필요 없이 실시간 시스템 모델링을 지원하는 모델 학습 프레임워크를 개발하기 위해.
• 시계를 갖춘 타임드 시스템으로 확장함으로써 기존의 유한 상태 아우토마타 학습 방법의 한계를 극복하기 위해.
• 수동 설계 및 무작위로 생성된 타임드 아우토마타를 대상으로 접근법을 평가하여 강건성과 일반화 능력을 검증하기 위해.
• 진화 계산을 활용해 복잡한 실시간 시스템 행동을 학습하는 데의 가능성을 탐색하기 위해.

제안 방법

• 이 방법은 수동 테스팅을 통해 수집된 시간 추적 데이터에서 결정론적 타임드 아우토마타(TA)를 진화시키기 위해 유전적 프로그래밍을 사용한다.
• 맞춤형 적합도 함수는 후보 TA가 제공된 시간 추적 데이터와 얼마나 잘 일치하는지 평가하며, 적합도와 구조적 정확도를 측정한다.
• 변이 연산자는 위치, 전이, 가드, 시계 리셋과 같은 TA 구성 요소를 수정하여 검색 공간을 탐색한다.
• 교차 연산자는 두 부모 TA의 구조적 구성 요소를 교환하여 더 나은 적합도를 가진 새로운 자식 모델을 생성한다.
• 알고리즘은 반복적으로 TA 집단을 진화시키며, 선택과 교체를 통해 높은 적합도를 가진 모델을 선별한다.
• 기본적으로 수동이지만, 향후 피드백을 통한 모델 정밀화를 위해 활성 테스팅과의 통합도 허용한다.

실험 결과

연구 질문

• RQ1 시스템의 구조에 대한 사전 지식 없이도 유전적 프로그래밍이 시간 추적 데이터에서 결정론적 타임드 아우토마타를 효과적으로 학습할 수 있는가?
• RQ2 학습된 TA는 독립적으로 생성된 테스트 데이터에 대해 얼마나 잘 일반화되는가? 과적합을 피할 수 있는가?
• RQ3 다양한 타임드 아우토마타, 특히 합성 및 실제 세계 예제에 대해 유전적 프로그래밍 접근법의 확장성과 수렴 행동은 어떠한가?
• RQ4 변이 및 교차 연산자가 정확한 TA 모델을 발견하는 데 어떻게 기여하는가?
• RQ5 이 접근법은 정확도 향상을 위해 활성 학습 및 모델 체킹 통합을 지원하도록 확장될 수 있는가?

주요 결과

• 유전적 프로그래밍 프레임워크는 수동으로 만든 4개 시스템과 무작위로 생성된 40개 시스템을 포함한 모든 44개 테스트 케이스와 일치하는 결정론적 타임드 아우토마타를 성공적으로 학습했다.
• 학습된 모델은 독립적으로 생성된 테스트 데이터에 대해 잘 일반화되어 있어 강건성과 낮은 과적합을 보였다.
• 다양한 시스템 유형에서 정확한 모델로의 안정적 수렴을 보이며, 적합도 평가 및 유전적 연산자의 효과성을 확인했다.
• 이 방법은 시스템의 상태 수나 구조에 대한 사전 지식 없이도 블랙박스 실시간 시스템 모델링에 대해 확장 가능하고 효과적임을 입증했다.
• 변이, 교차 및 세밀한 적합도 평가의 통합은 모델 공간의 효율적 탐색과 정확한 모델 추론을 가능하게 했다.
• 결과적으로, 유전적 프로그래밍은 실시간 시스템에서 복잡한 타임드 행동을 학습하는 데 타당하고 유연한 접근법임을 시사한다.