[논문 리뷰] Neural Guided Constraint Logic Programming for Program Synthesis

Lisa Zhang, Gregory Rosenblatt외 6명|arXiv (Cornell University)|2018. 09. 08.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 miniKanren를 사용한 프로그램 합성에서 신경망 가이드를 통한 제약 논리 프로그래밍 방법을 제안한다. 여기서 신경망 모델(RNN 또는 GNN)은 miniKanren의 내부 제약 표현을 처리하여 검색 속도를 향상시킨다. 이 방법은 기준 방법 대비 더 큰 문제에 대해 합성 속도와 일반화 능력이 뛰어나다.

ABSTRACT

Synthesizing programs using example input/outputs is a classic problem in artificial intelligence. We present a method for solving Programming By Example (PBE) problems by using a neural model to guide the search of a constraint logic programming system called miniKanren. Crucially, the neural model uses miniKanren's internal representation as input; miniKanren represents a PBE problem as recursive constraints imposed by the provided examples. We explore Recurrent Neural Network and Graph Neural Network models. We contribute a modified miniKanren, drivable by an external agent, available at https://github.com/xuexue/neuralkanren. We show that our neural-guided approach using constraints can synthesize programs faster in many cases, and importantly, can generalize to larger problems.

연구 동기 및 목표

• 프로그래밍 예제(PBE) 문제에서 느린 검색 문제를 해결하기 위해.
• 소규모 예제를 넘어서 더 크고 복잡한 PBE 문제에 대한 일반화 능력을 향상시키기 위해.
• miniKanren의 내부 제약 표현을 입력으로 활용하여 신경망 모델과 제약 논리 프로그래밍을 통합하기 위해.
• 검색 가이드 기능을 향상시키기 위해 수정된 외부 제어 가능 버전의 miniKanren를 개발하기 위해.
• RNN 및 GNN 아키텍처가 제약 기반 프로그램 합성에 어떻게 기여하는지 평가하기 위해.

제안 방법

• 신경망 모델은 내부 제약 표현을 입력으로 받아 miniKanren의 검색 경로 중 유망한 경로를 예측하도록 훈련된다.
• 신경망 모델은 PBE 문제의 재귀적 제약 구조를 처리하기 위해 순환 신경망(RNN) 또는 그래프 신경망(GNN)을 사용한다.
• 시스템은 신경망 모델을 외부 에이전트로 통합하여 miniKanren의 검색 과정을 가이드함으로써 탐색 효율성을 향상시킨다.
• 수정된 miniKanren는 외부 제어를 지원하여 신경망 모델이 검색 과정을 동적으로 이끄는 것을 가능하게 한다.
• miniKanren의 제약 표현은 입력-출력 예제로부터 유도되며, 프로그램 구조에 대한 재귀적 논리적 제약를 형성한다.
• 유망한 제약 분기들을 우선시함으로써 올바른 프로그램에 빠르게 수렴할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 신경망 모델이 PBE 합성에서 제약 논리 프로그래밍을 효과적으로 가이드할 수 있는가?
• RQ2 신경망 가이드가 무가이드 miniKanren에 비해 검색 효율을 얼마나 향상시키는가?
• RQ3 신경망 가이드 방법이 훈련 분포를 넘어서 더 큰 PBE 문제에 일반화되는가?
• RQ4 RNN과 GNN 아키텍처는 제약 기반 검색을 가이드하는 데 어떻게 비교되는가?
• RQ5 miniKanren의 내부 제약 표현을 사용할 경우 모델 성능 향상 정도는 어느 정도인가?

주요 결과

• 신경망 가이드 방법은 다양한 PBE 벤치마크에서 기준 miniKanren 대비 합성 시간을 크게 단축시켰다.
• 이 방법은 더 큰 문제에 대해 효과적으로 일반화되어 소규모 예제 세트를 넘어서는 확장성을 보였다.
• RNN 및 GNN 버전의 신경망 모델 모두 검색 효율을 향상시켰으며, 특히 구조적 제약에서는 GNN이 더 뛰어난 성능을 보였다.
• 신경망 가이드를 miniKanren에 통합함으로써 관련 제약 분기들에 집중함으로써 더 빠른 올바른 프로그램 수렴이 가능했다.
• GitHub에 공개된 수정된 miniKanren 시스템은 외부 에이전트 제어를 지원하며, 즉각적인 신경망 가이드 통합을 가능하게 했다.
• 정확성을 유지하면서도 더 빠른 합성을 달성함으로써, 제약 표현에 대한 신경망 가이드의 효과성을 입증했다.