[논문 리뷰] Complementing Model Learning with Mutation-Based Fuzzing

Rick Smetsers, Joshua Moerman외 2명|arXiv (Cornell University)|2016. 11. 08.

Machine Learning and Algorithms참고 문헌 4인용 수 9

한 줄 요약

이 논문은 반응형 시스템에서 유 end 유한 상태 기계(FSM) 추론을 위한 반례 탐색을 향상시키기 위해, 최소한으로 적합한 교사(Minimally Adequate Teacher) 프레임워크 내에서 변이 기반 패atcher링(fuzzing)과 모델 학습을 통합한다. 패처링과 적합성 테스팅 및 학습 알고리즘을 조합함으로써, RERS 챌린지 문제에서 도달 가능한 오류 상태의 커버리지가 향상되었으며, 패처링은 도달 가능성 작업에서 전통적 방법보다 더 많은 오류를 탐지했고, LTL 검증에서 성공을 확인했다.

ABSTRACT

An ongoing challenge for learning algorithms formulated in the Minimally Adequate Teacher framework is to efficiently obtain counterexamples. In this paper we compare and combine conformance testing and mutation-based fuzzing methods for obtaining counterexamples when learning finite state machine models for the reactive software systems of the Rigorous Exampination of Reactive Systems (RERS) challenge. We have found that for the LTL problems of the challenge the fuzzer provided an independent confirmation that the learning process had been successful, since no additional counterexamples were found. For the reachability problems of the challenge, however, the fuzzer discovered more reachable error states than the learner and tester, albeit in some cases the learner and tester found some that were not discovered by the fuzzer. This leads us to believe that these orthogonal approaches are complementary in the context of model learning.

연구 동기 및 목표

• 최소한으로 적합한 교사 프레임워크 하에서 모델 학습 시 효율적으로 반례를 확보하는 데 도전한다.
• FSM 크기의 사전 상한선이 필요로 하는 적합성 테스팅의 한계를 극복한다.
• 변이 기반 패처링을 모델 학습에서 반례 생성을 위한 대체 또는 보완 기법으로 평가한다.
• 패처링이 실제 반응형 시스템에서 도달 가능한 오류 상태를 탐지하고 학습된 모델을 검증하는 데 얼마나 효과적인지 평가한다.
• 패처링과 전통적 학습/테스팅 방법이 모델 추론 파이프라인에서 어떻게 상호 보완적인지를 보여준다.

제안 방법

• AFL을 사용한 변이 기반 패처링을 LearnLib와 통합하여 대상 반응형 시스템의 테스트 입력을 생성하고 진화시킨다.
• AFL을 수정하여 공유 메모리를 통해 시스템 출력을 캡처하고 노출함으로써 LearnLib의 입력-출력 모델과의 호환성을 확보한다.
• AFL의 포크 서버를 사용하여 각 쿼리마다 대상 프로세스를 격리하고 재시작함으로써 상태 기반 시스템 상호작용을 지원한다.
• 패처링을 통해 학습자나 테스터와 별개로 테스트 시퀀스를 생성한 후, 이를 동치성 쿼리로 사용한다.
• 패처링을 적합성 테스팅 및 L* 학습과 조합하여 FSM 가설을 검증하고 개선한다.
• 코드 커버리지와 출력 차이를 기반으로 한 피트니스 함수를 사용하여 변이를 이끄리고 흥미로운 테스트 케이스를 우선순위 정한다.

실험 결과

연구 질문

• RQ1 FSM 크기의 알려진 상한선이 없을 경우, 변이 기반 패처링이 반례를 효과적으로 탐지할 수 있는가?
• RQ2 반응형 시스템에서 도달 가능한 오류 상태 커버리지 측면에서 패처링은 적합성 테스팅보다 어떻게 비교되는가?
• RQ3 패처링과 전통적 학습/테스터가 겹치는가 아니면 상호 보완적인 오류 상태를 탐지하는가?
• RQ4 패처링이 모델 학습 성공 여부를 독립적인 검증 수단으로 활용할 수 있는가?
• RQ5 학습 시간과 쿼리 수 측면에서, 패처링을 동치성 쿼리 오라클로 사용할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• RERS 2016 챌린지의 LTL 문제에서 패처링은 적합성 테스터가 발견한 반례 외에 새로운 반례를 발견하지 못했으며, 이는 학습 과정의 정확성을 확인한다.
• 도달 가능성 문제에서는 패처링이 학습자와 테스터보다 더 많은 도달 가능한 오류 상태를 탐지했다. 예를 들어 문제 1에서는 패처링이 29/29개의 오류 상태를 발견한 반면, 적합성 테스팅은 19/29개를 발견했다.
• 어느 경우에서는 학습자와 테스터가 패처링이 발견하지 못한 오류 상태를 탐지했으며, 이는 커버리지가 겹치지 않는다는 것을 시사한다.
• 패처링을 동치성 오라클로 사용함으로써 학습 시간이 크게 단축되었다. 문제 1의 경우, 패처링을 사용한 학습은 21초가 걸린 반면, W-메서드 테스팅은 13시간이 소요되었다.
• 쿼리 수가 감소했다: 문제 1에서 패처링은 16,731개의 쿼리가 필요했고, W-메서드 테스팅은 2.46×10⁸개의 쿼리가 필요했다.
• 패처링은 더 높은 상태 기반 모델 정확도를 달성했다(예: 문제 1에서 패처링은 1,027개의 상태를, W-메서드는 25개의 상태를 기록함). 이는 더 나은 모델 충실도를 의미한다.