[논문 리뷰] TerpreT: A Probabilistic Programming Language for Program Induction

Alexander L. Gaunt, Marc Brockschmidt외 5명|arXiv (Cornell University)|2016. 08. 15.

Software Engineering Research참고 문헌 35인용 수 80

한 줄 요약

TerpreT는 모델 명세와 추론 알고리즘을 분리함으로써 프로그램 합성 접근법의 빠른 프로토타이핑과 비교 평가를 가능하게 하는 확률적 프로그래밍 언어이다. 이 언어는 기울기 하강, 선형 프로그래밍, 만족 가능성 해법, 그리고 Sketch를 포함한 여러 추론 백엔드를 지원하며, 제약 조건 해법이 기울기 기반 및 선형 프로그래밍 기반 방법보다 프로그램 유도 작업에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

We study machine learning formulations of inductive program synthesis; given input-output examples, we try to synthesize source code that maps inputs to corresponding outputs. Our aims are to develop new machine learning approaches based on neural networks and graphical models, and to understand the capabilities of machine learning techniques relative to traditional alternatives, such as those based on constraint solving from the programming languages community. Our key contribution is the proposal of TerpreT, a domain-specific language for expressing program synthesis problems. TerpreT is similar to a probabilistic programming language: a model is composed of a specification of a program representation (declarations of random variables) and an interpreter describing how programs map inputs to outputs (a model connecting unknowns to observations). The inference task is to observe a set of input-output examples and infer the underlying program. TerpreT has two main benefits. First, it enables rapid exploration of a range of domains, program representations, and interpreter models. Second, it separates the model specification from the inference algorithm, allowing like-to-like comparisons between different approaches to inference. From a single TerpreT specification we automatically perform inference using four different back-ends. These are based on gradient descent, linear program (LP) relaxations for graphical models, discrete satisfiability solving, and the Sketch program synthesis system. We illustrate the value of TerpreT by developing several interpreter models and performing an empirical comparison between alternative inference algorithms. Our key empirical finding is that constraint solvers dominate the gradient descent and LP-based formulations. We conclude with suggestions for the machine learning community to make progress on program synthesis.

연구 동기 및 목표

• 다양한 프로그램 합성 접근법을 동등한 조건에서 명세화하고 비교할 수 있는 통합 프레임워크를 개발하는 것.
• 유도 프로그램 합성에서 기계 학습 기반 추론(예: 기울기 하강)과 전통적인 제약 조건 해법 방법의 효능을 탐구하는 것.
• 도메인 특화 언어를 통해 다양한 프로그램 표현 방식, 인터프리터, 추론 알고리즘에 대한 빠른 실험을 가능하게 하는 것.
• 기울기 기반, 신경망 유사 프로그램 표현이 명시적 제어 흐름을 갖춘 해석 가능하고 제어 흐름 인식 가능한 소스 코드를 효과적으로 합성할 수 있는지 탐구하는 것.
• 다양한 프로그램 유도 문제에 대해 추론 백엔드를 체계적으로 비교하는 데 목적이 있는 실증적 평가를 제공하는 것.

제안 방법

• TerpreT는 프로그램 표현 방식(확률적 변수 선언)과 실행 의미론(인터프리터)을 분리하는 도메인 특화 언어이다.
• 모델은 관측된 입력-출력 예제들로부터 확률적 추론을 통해 알 수 없는 프로그램 요소들을 추론하는 방식으로 정의된다.
• 이 프레임워크는 네 가지 추론 백엔드를 지원한다: 기울기 하강(기울기 기반 인터프리터를 통한), 그래픽 모델을 위한 선형 프로그래밍(선형 프로그래밍) 근사, 이산 SAT 해법, 그리고 Sketch 프로그램 합성 시스템.
• 프로그램은 명시적 제어 흐름(if-then-else, 루프), 레지스터, 힙 메모리를 포함한 명령어의 시퀀스로 표현되며, 해석 가능한 소스 코드의 합성을 가능하게 한다.
• 인터프리터 모델은 시간 단위별로 프로그램 실행을 단계별로 시뮬레이션하는 조건부 논리와 변수 할당을 사용하여 구현된다.
• 관측값은 최종 프로그램 카운터 값을 0(정지 상태)으로 고정함으로써 통합되며, 이는 종료 보장을 한다.

실험 결과

연구 질문

• RQ1 TerpreT와 같은 통합된 확률적 프로그래밍 프레임워크는 프로그램 합성에 사용되는 다양한 추론 알고리즘 간의 공정하고 체계적인 비교를 가능하게 할 수 있는가?
• RQ2 기울기 하강 기반 및 선형 프로그래밍 근사 방법은 입력-출력 예제로부터 정확한 프로그램을 합성하는 데 있어 제약 조건 해법 방법과 어떻게 비교되는가?
• RQ3 기울기 기반, 신경망 유사 프로그램 표현이 명시적 제어 흐름을 포함할 경우, 프로그램 유도에서 일반화 능력과 해석 가능성에 얼마나 기여하는가?
• RQ4 구조화된 컴파일러 유사 중간 표현을 사용하는 것이 기계 학습 기반 합성 방법의 성능을 향상시키는 데 기여하는가?
• RQ5 동일한 프로그램 합성 문제 명세에 적용되었을 때, 다양한 추론 백엔드의 상대적 강점과 약점은 무엇인가?

주요 결과

• 제약 조건 해법(특히 SAT 및 Sketch 포함)은 프로그램 유도 벤치마크에서 정확도와 성공률 측면에서 기울기 하강 및 선형 프로그래밍 기반 추론 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 실증 결과는 기울기 기반 및 선형 프로그래밍 기반 방법과 비교했을 때, 전통적인 제약 조건 기반 접근법이 여전히 우세함을 보여주었다.
• TerpreT 내 기울기 기반 인터프리터를 통해 명시적 제어 흐름과 메모리 접근을 갖춘 프로그램 표현의 엔드 투 엔드 학습이 가능했지만, 기호적 해법보다 성능가 떨어졌다.
• 선형 프로그래밍 근사 기반 추론은 이산적 결정과 비선형 제약 조건이 필요한 문제에서는 제한된 효과성을 보였다.
• 이 프레임워크는 모델 명세와 추론을 분리하여 동일한 TerpreT 명세를 사용해 네 가지의 다른 추론 백엔드 간 직접 비교를 가능하게 했다.
• 이 연구는 향후 기계 학습 기반 프로그램 합성의 발전이 순수하게 기울기 기반 최적화에 의존하기보다는 기호적 추론과 신경망 기반 미분 가능성의 통합이 필요할 수 있음을 시사한다.