[논문 리뷰] Learning to select examples for program synthesis

Yewen Pu, Zachery Miranda외 2명|arXiv (Cornell University)|2017. 11. 09.

Software Engineering Research인용 수 1

한 줄 요약

이 논문은 프로그램 합성에서 제약 조건 해결기의 효율성을 향상시키기 위해 입력-출력 예제의 소규모이고 대표적인 부분집합을 선택하는 신경망 기반 방법을 제안한다. 학습된 불확실성에 기반해 예측 확률이 가장 낮은(가장 중복성이 적은) 예제를 반복적으로 추가함으로써, 이 방법은 솔루션 정확도를 유지하면서도 해결기 오버헤드를 줄인다. 그 유효성은 다이어그램 그리기 합성 작업에서 입증되었다.

ABSTRACT

Program synthesis is a class of regression problems where one seeks a solution, in the form of a source-code program, mapping the inputs to their corresponding outputs exactly. Due to its precise and combinatorial nature, it is commonly formulated as a constraint satisfaction problem, where input-output examples are encoded as constraints and solved with a constraint solver. A key challenge of this formulation is scalability: while constraint solvers work well with few well-chosen examples, a large set of examples can incur significant overhead in both time and memory. We address this challenge by constructing a representative subset of examples that is both small and able to constrain the solver sufficiently. We build the subset one example at a time, using a neural network to predict the probability of unchosen input-output examples conditioned on the chosen input-output examples, and adding the least probable example to the subset. Experiment on a diagram drawing domain shows our approach produces subsets of examples that are small and representative for the constraint solver.

연구 동기 및 목표

• 큰 수의 입력-출력 예제로 인해 발생하는 프로그램 합성의 확장성 문제를 해결하기 위해.
• 예제의 최소한이면서도 제약 조건이 강한 부분집합을 선택하여 제약 조건 해결기의 시간 및 메모리 오버헤드를 줄이기 위해.
• 솔루션 정확도를 희생시키지 않은 채 제약 조건 만족 기반 프로그램 합성의 효율성을 향상시키기 위해.
• 신뢰도를 신경망 확률 추정을 통해 측정한 정보성에 기반해 동적으로 예제를 선택하는 방법을 개발하기 위해.

제안 방법

• 이미 선택된 예제를 기반으로 하지 않은 입력-출력 예제의 확률을 예측하는 신경망을 학습한다.
• 이 방법은 예측 확률이 가장 낮은 예제를 반복적으로 선택함으로써, 이는 가장 중복성이 적고 정보성이 높은 것으로 간주된다.
• 선택 과정은 불확실성에 의해 이끌린다: 낮은 확률을 가진 예제는 중복 가능성은 낮고, 따라서 포함시키는 데 더 가치가 있다고 간주된다.
• 선택된 부분집합은 목표 프로그램을 합성하기 위해 제약 조건 해결기의 제약 조건으로 사용된다.
• 이 방법은 다이어그램 그리기 프로그램 합성 도메인에서 평가되었으며, 다양하고 제약 조건이 강한 예제를 우선순위로 삼는 데 성공했다.

실험 결과

연구 질문

• RQ1 신경망 모델이 프로그램 합성에 있어 가장 정보성 있는 입력-출력 예제를 효과적으로 식별할 수 있는가?
• RQ2 예측된 불확실성에 기반한 반복적 예제 선택이 해결기 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 작은 대표 부분집합의 예제가 전체 예제를 사용할 때와 비교해 솔루션 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 이 방법은 정확성을 유지하면서도 제약 조건 해결기의 시간 및 메모리 오버헤드를 줄일 수 있는가?

주요 결과

• 제안된 방법은 계산 오버헤드를 줄이기 위해 효과적으로 제약 조건을 걸 수 있는 매우 작은 예제 부분집합을 생성한다.
• 신경망 모델은 낮은 확률(가장 중복성이 적은) 예제를 성공적으로 식별하여 더 다양하고 정보성 있는 부분집합을 이끈다.
• 다이어그램 그리기 합성 작업에서 조건이 줄어든 상태에서도 높은 솔루션 정확도를 유지한다.
• 불확실성에 기반한 반복적 선택 전략은 정확한 프로그램을 찾는 능력을 훼손하지 않으면서도 해결기 효율성을 향상시킨다.