[논문 리뷰] Synthesis of Parametric Programs using Genetic Programming and Model Checking

Gal Katz, Doron Peled|arXiv (Cornell University)|2014. 02. 27.

Formal Methods in Verification참고 문헌 19인용 수 5

한 줄 요약

이 논문은 유전적 프로그래밍(GP)과 모델 체킹을 조합한 하이브리드 접근법을 제안하며, 시간 논리 명세를 만족하는 정확한 설계 기반의 매개변수 프로그램을 합성한다. 만족 가능성 검사 및 반례 기반 정밀 조정을 통한 적합도 평가를 통해, 오버플로우 없는 평균 계산 및 상호 배제 프로토콜과 같은 복잡한 문제에 대해 정확한 해결책을 성공적으로 생성한다.

ABSTRACT

Formal methods apply algorithms based on mathematical principles to enhance the reliability of systems. It would only be natural to try to progress from verification, model checking or testing a system against its formal specification into constructing it automatically. Classical algorithmic synthesis theory provides interesting algorithms but also alarming high complexity and undecidability results. The use of genetic programming, in combination with model checking and testing, provides a powerful heuristic to synthesize programs. The method is not completely automatic, as it is fine tuned by a user that sets up the specification and parameters. It also does not guarantee to always succeed and converge towards a solution that satisfies all the required properties. However, we applied it successfully on quite nontrivial examples and managed to find solutions to hard programming challenges, as well as to improve and to correct code. We describe here several versions of our method for synthesizing sequential and concurrent systems.

연구 동기 및 목표

• 기존 합성 방법에서의 결정 불가능성과 높은 복잡성으로 인해 본질적으로 어려운 정확한 설계 기반의 매개변수 프로그램 합성 문제에 대응한다.
• 전통적인 모델 체킹의 한계를 극복하기 위해, 전체 검증 방법으로서가 아니라 고정된 매개변수 인스턴스에 대한 철저한 테스트 엔진으로 모델 체킹을 활용한다.
• 인간이 이끄는 히ュ리스틱 기반의 진화 과정을 통해 결함이 있거나 최적화되지 않은 코드의 자동 수정 및 최적화를 가능하게 한다.
• 유전적 프로그래밍을 확장하여 코드 논리 외에도 프로세스 구조 및 통신 채널을 포함한 시스템 아키텍처의 진화도 가능하게 한다.
• 형식 검증만으로는 비현실적인 복잡한 동시성 및 순차적 프로그램을 합성하기 위한 실용적이고 확장 가능한 프레임워크를 제공한다.

제안 방법

• 할당, 비트 연산, 제어 구조 등 문법적 구성요소에 대한 변형 연산을 사용하여 후보 프로그램을 생성하고 진화시키는 유전적 프로그래밍을 사용한다.
• 향상된 모델 체킹 또는 SMT 솔버를 사용하여 정확성 평가를 수행하며, 단순한 예/아니요 결과 외에도 시간 논리 성질의 만족 가능성에 기반한 반례 및 적합도 수준을 반환한다.
• 만족 가능성 검사와 테스트 케이스 커버리지의 조합을 통한 적합도 함수를 통합하며, 이전 반복에서 실패한 테스트 케이스를 재사용하여 진화를 이끌어낸다.
• 실패한 후보자로부터 반례와 매개변수 조합을 누적하여 점차 증가하는 테스트 셋을 형성함으로써, 전체 검증이 필요 없이도 정확성에 대한 신뢰를 높인다.
• 사용자 지침에 따라 명세, 적합도 히ュ리스틱, 또는 초기 코드 템플릿을 수정하여 검색이 원하는 해결책 쪽으로 유도할 수 있다.
• 프로세스 구조 및 통신 채널의 변형을 허용함으로써 아키텍처 진화를 지원하며, 아키텍처 결함의 발견 및 수정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 합성 방법에서의 결정 불가능성에도 불구하고, 모델 체킹에 의해 이끄는 유전적 프로그래밍이 정확한 설계 기반의 매개변수 프로그램을 효과적으로 합성할 수 있는가?
• RQ2 전체 검증이 비현실적인 매개변수 시스템에 대해 모델 체킹을 일반화된 테스트 메커니즘으로 재사용할 수 있는가?
• RQ3 형식 명세에 기반하여 결함이 있거나 최적화되지 않은 코드를 얼마나 자동으로 수정하거나 개선할 수 있는가?
• RQ4 이 프레임워크는 코드 논리 외에도 시스템 아키텍처(예: 프로세스 수, 통신 패턴 등)를 진화시켜 정확한 동시성 설계를 발견할 수 있는가?
• RQ5 만족 가능성 검사와 반례 기반 테스트 케이스 누적 방식의 조합이 정확한 해결책으로의 수렴을 얼마나 효과적으로 이끌어내는가?

주요 결과

• 반복적인 진화를 통해 결함이 있는 초도 버전을 개선하여, 정확하고 오버플로우 없는 평균 계산 프로그램을 성공적으로 합성하였으며, 이는 [23]에서 알려진 해결책과 동일하다.
• 프레임워크를 사용하여 정확한 상호 배제 알고리즘을 합성하고 검증하였으며, 이는 복잡한 동시성 시스템에의 적용 가능성을 입증한다.
• 비트 벡터 문제(입력이 2^n - 1이면 출력이 0)에 대해 프로그램을 몇 초 내에 생성하였으며, 고정된 비트 폭의 모든 비트 벡터 입력에 대해 정확성을 입증하였다.
• 실패한 후보자로부터 유도된 반례를 효과적으로 재사용하여 검색을 이끌었으며, 이는 수렴성과 적합도 평가 정확도를 크게 향상시켰다.
• 큰 입력에서 오버플로우가 발생하는 난이도 높은 평균 계산 알고리즘을 자동으로 수정하여 정확하고 효율적인 해결책으로 진화시켰다.
• 이 방법은 항상 종료되거나 성공을 보장하지는 않지만, 광범위한 테스트 케이스 커버리지와 만족 가능성 검사를 통해 강력한 정확성의 경험적 증거를 제공하므로 실제 합성 작업에 실용적이다.