[논문 리뷰] Towards Neural-Guided Program Synthesis for Linear Temporal Logic Specifications

Alberto Rivas, Sheila A. McIlraith|arXiv (Cornell University)|2019. 12. 31.

Formal Methods in Verification참고 문헌 24인용 수 4

한 줄 요약

이 논문은 선형 시간 논리(LTL) 합성 문제를 최적화 작업으로 재정의하고, 딥 Q러닝을 사용하여 검색을 안내하는 신경망 기반 검색 방법을 제안한다. 이 방법은 검색의 효율성을 향상시키기 위해 Q함수를 학습하며, 작은 LTL 명세에 대해 정확한 합성 프로그램을 성공적으로 생성한다. 문제의 복잡도가 2EXP-complete임에도 불구하고, 매우 적은 학습 에피소드로도 효과적인 안내를 보여준다.

ABSTRACT

Synthesizing a program that realizes a logical specification is a classical problem in computer science. We examine a particular type of program synthesis, where the objective is to synthesize a strategy that reacts to a potentially adversarial environment while ensuring that all executions satisfy a Linear Temporal Logic (LTL) specification. Unfortunately, exact methods to solve so-called LTL synthesis via logical inference do not scale. In this work, we cast LTL synthesis as an optimization problem. We employ a neural network to learn a Q-function that is then used to guide search, and to construct programs that are subsequently verified for correctness. Our method is unique in combining search with deep learning to realize LTL synthesis. In our experiments the learned Q-function provides effective guidance for synthesis problems with relatively small specifications.

연구 동기 및 목표

• 정확한 LTL 합성 방법의 확장성 한계를 해결하기 위해, 2EXP-complete이므로 큰 문제에 대해 실현 불가능한 기존 방법의 문제점을 해결한다.
• 경험에서 학습된 Q함수를 통해 깊이 강화 학습이 LTL 합성에서 검색에 효과적인 안내를 줄 수 있는지 탐색한다.
• 검색과 딥 러닝을 융합하여 기존 논리적 추론 기법을 뛰어넘는 합성 확장성을 확보한다.
• 신경망 기반 안내가 검색 공간 탐색을 줄이면서도 정확성 보장을 유지하는 데 얼마나 효과적인지 평가한다.
• 예를 들어, 퍼텐셜 사용, 지친 게임플레이 재사용, 옴니터이트 분해와 같은 아키텍처 선택 사항이 학습 효율성과 해의 품질에 미치는 영향을 조사한다.

제안 방법

• 최적화 기반 학습이 가능하도록 LTL 합성을 동적 프로그래밍 문제로 재정의한다.
• 합성 과정에서 상태-행동 쌍에서의 행동 예상 수익을 추정하는 Q함수를 학습하기 위해 딥 뉴럴 네트워크를 사용한다.
• 학습 안정성 향상과 정책 학습 향상을 위해 경험 재생과 타겟 네트워크를 활용한 딥 Q러닝을 적용한다.
• 신경망 기반 안내를 히우리스틱 검색 프레임워크에 통합하여 Q함수를 활용해 검색 공간 내 유망한 경로를 우선순위화한다.
• 퍼텐셜(즉, 히우리스틱 상태 값)을 추가 보조 신호로 통합하여 더 강력한 감독을 제공함으로써 학습 성능을 향상시킨다.
• 단일 옴니터이트로 변환할 수 없는 큰 LTL 공식을 처리하기 위해 옴니터이트 분해를 사용한다.

실험 결과

연구 질문

• RQ1 학습된 Q함수는 LTL 합성에서 검색을 효과적으로 안내할 수 있는가? 이는 기하급수적으로 큰 상태 공간을 완전 탐색할 필요를 줄일 수 있는가?
• RQ2 퍼텐셜 사용, 지친 게임플레이 재사용, 옴니터이트 분해와 같은 아키텍처 개선 사항이 학습 기반 합성 방법의 성능과 수렴에 어떤 영향을 미치는가?
• RQ3 전통적인 논리적 추론 방법과 비교했을 때, 신경망 기반 검색은 LTL 합성 문제에 얼마나 잘 확장될 수 있는가?
• RQ4 신경망 기반 안내가 최소한의 학습으로도 복잡한 LTL 명세를 충족하는 정확한 합성 프로그램을 생성하는 데 성공하는가?
• RQ5 이 방법은 컴act한 컨트롤러를 생성하는가, 아니면 항상 최소해보다 큰 해를 생성하는가?

주요 결과

• 학습된 Q함수는 합성에 효과적인 안내를 제공하여 SYNTCOMP 2019 벤치마크에서 상대적으로 작은 명세에 대해 여러 문제를 성공적으로 해결했다.
• 퍼텐셜을 보조 신호로 사용함으로써 학습 성능이 크게 향상되었으며, DDQS[−, φ] 및 dec-DDQS[−, φ] 설정이 다른 설정보다 뛰어난 성능을 보였다.
• 지친 게임플레이를 재사용함으로써 필요한 학습 에피소드 수와 배치 학습 단계 수가 감소하여 수렴 속도가 빨라졌다.
• 옴니터이트 분해를 사용함으로써 입력 크기가 증가하고 더 많은 학습 단계가 필요로 했지만, 단일 옴니터이트 변환 대비 계산적으로 타당한 수준을 유지했다.
• 이 방법으로 생성된 컨트롤러는 SYNTCOMP 2019에서 보고된 최소 컨트롤러보다 훨씬 크며, 정책 최적화 향상 여지가 있음을 시사한다.
• 최고 성능를 달성하지는 못했지만, 딥 러닝과 검색을 융합한 접근 방식이 확장 가능한 LTL 합성에 실현 가능하고 기초적인 길임을 입증했다.