[논문 리뷰] Learning to Represent Programs with Property Signatures

Augustus Odena, Charles Sutton|arXiv (Cornell University)|2020. 02. 13.

Machine Learning and Algorithms참고 문헌 35인용 수 18

한 줄 요약

이 논문은 입력-출력 쌍에 대해 평가되는 부울 값 성질의 집합을 기반으로 한 프로그램과 사양의 기계 학습 친화적인 표현인 성질 서명(property signatures)을 소개한다. 복합 함수의 성질 서명을 예측하도록 학습시킴으로써, 이 방법은 합성기의 정확도를 크게 향상시키고 기존 기준보다 두 배 빠르게 정확한 프로그램을 찾을 수 있도록 한다. 이는 다양한 기능 프로그래밍 문제에서 놀라운 성능 향상을 보여준다.

ABSTRACT

We introduce the notion of property signatures, a representation for programs and program specifications meant for consumption by machine learning algorithms. Given a function with input type $τ_{in}$ and output type $τ_{out}$, a property is a function of type: $(τ_{in}, τ_{out}) ightarrow exttt{Bool}$ that (informally) describes some simple property of the function under consideration. For instance, if $τ_{in}$ and $τ_{out}$ are both lists of the same type, one property might ask `is the input list the same length as the output list?'. If we have a list of such properties, we can evaluate them all for our function to get a list of outputs that we will call the property signature. Crucially, we can `guess' the property signature for a function given only a set of input/output pairs meant to specify that function. We discuss several potential applications of property signatures and show experimentally that they can be used to improve over a baseline synthesizer so that it emits twice as many programs in less than one-tenth of the time.

연구 동기 및 목표

• 기계 학습을 지원하는 일반적인 프로그램과 사양 표현 방식을 개발한다.
• 성질 서명을 인도적 편향(inductive biases)으로 활용하여 프로그램 합성 성능을 향상시킨다.
• 수동 설계 대신 학습을 통해 유용한 프로그램 성질을 자동으로 발견할 수 있도록 한다.
• 성질 서명이 인간이 작성한 복잡한 프로그래밍 문제에서 합성 속도를 극적으로 향상시킬 수 있음을 입증한다.

제안 방법

• 논문은 성질을 목표 함수의 입력-출력 쌍에 대한 단순한 불변성(invariant)을 검사하는 부울 함수로 정의한다.
• 성질 서명은 특정 함수의 입력-출력 예제에 대해 고정된 성질 집합을 평가하여 생성된 이진 벡터이다.
• 이 방법은 구성 요소 함수의 성질 서명을 그 조합의 성질 서명에서 추론하는 조합 예측 모델을 학습한다.
• 합성기는 성질 서명을 활용하여 검색을 안내하고, 예측된 성질 일치 여부에 따라 후보 프로그램을 필터링한다.
• 이 접근법은 기계 학습 기반 합성에 적합하도록 설계된, 고속 프로그램 실행을 지원하는 톰슨-완전(Turing-complete) 기능 언어인 Searcho에서 평가된다.
• 시스템은 언어, 런타임, 검색 인fra구조, 학습 데이터를 포함하여 오픈소스로 제공되어 향후 기계 학습 기반 합성 연구를 지원한다.

실험 결과

연구 질문

• RQ1 성질 서명은 프로그램 합성에 효과적인 인도적 편향이 될 수 있는가?
• RQ2 학습된 모델이 조합으로부터 구성 요소 함수의 성질 서명을 예측할 수 있는가? 이는 합성 효율성을 향상시키는가?
• RQ3 성질 서명을 통해 기존 기준 합성기가 찾지 못한 프로그램을 합성할 수 있는가?
• RQ4 성질 서명을 보완한 합성기의 성능은 인간이 작성한 복잡한 프로그래밍 문제에서 기준 기준에 비해 어떻게 비교되는가?

주요 결과

• 성질 서명 방법은 185개의 기능 프로그래밍 문제로 구성된 테스트 세트에서 기준 합성기보다 두 배 이상 많은 프로그램을 합성했다.
• 이 성능 향상은 기준 기준이 소요하는 시간의 10분의 1 미만으로 달성되었다.
• 성질 서명을 사용해 합성한 프로그램 중 절반 이상이 기준 합성기에서 하루가 넘도록도 찾지 못한 프로그램이었다.
• 조합 예측 모델은 중간 단계의 성질 서명을 성공적으로 추론하여 합성 중 전제 선택을 효과적으로 지원했다.
• 이 방법은 기준 합성기가 찾지 못한 복잡한 프로그램—리스트에서 연속 중복 요소를 제거하는 프로그램—을 성공적으로 합성했다.
• 오픈소스로 제공된 시스템은 향후 기계 학습 기반 프로그램 합성 연구의 기초를 제공한다.