[논문 리뷰] Selecting Representative Examples for Program Synthesis

Yewen Pu, Zachery Miranda외 2명|arXiv (Cornell University)|2017. 11. 09.

Software Engineering Research인용 수 14

한 줄 요약

이 논문은 프로그램 합성에 사용할 소규모이고 대표적인 입력-출력 예제 집합을 선택하기 위해 탐욕적인 신경망 유도 방법을 제안한다. 이는 확장성과 안정성을 햖थ하며, 현재 집합에 조건부로 가장 낮은 확률(가장 놀라운) 예제를 반복적으로 추가함으로써 제약 조건 해결기의 오버헤드를 줄이고 정확성을 유지한다. 프로그래밍적 그림 그리기 및 오ート마타 유도 작업에서 기준선 대비 합성 시간과 분산 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Program synthesis is a class of regression problems where one seeks a solution, in the form of a source-code program, mapping the inputs to their corresponding outputs exactly. Due to its precise and combinatorial nature, program synthesis is commonly formulated as a constraint satisfaction problem, where input-output examples are encoded as constraints and solved with a constraint solver. A key challenge of this formulation is scalability: while constraint solvers work well with a few well-chosen examples, a large set of examples can incur significant overhead in both time and memory. We describe a method to discover a subset of examples that is both small and representative: the subset is constructed iteratively, using a neural network to predict the probability of unchosen examples conditioned on the chosen examples in the subset, and greedily adding the least probable example. We empirically evaluate the representativeness of the subsets constructed by our method, and demonstrate such subsets can significantly improve synthesis time and stability.

연구 동기 및 목표

• 큰 수의 입력-출력 예제 집합으로 인해 발생하는 프로그램 합성의 확장성 문제를 해결하기 위해.
• 큰 제약 만족 문제(CSP)의 인코딩 및 해결에 필요한 계산 오버헤드를 줄이기 위해.
• 최소한이지만 대표적인 예제 집합을 선택하여 합성의 안정성과 속도를 향상시키기 위해.
• 검색 공간을 최대한 잘 줄이는 예제를 선택함으로써 CEGIS 및 무작위 샘플링보다 우월한 방법을 제공하기 위해.
• 의미적으로 제약을 주는 예제에 집중함으로써 대규모 데이터셋에서도 효율적인 프로그램 합성 가능성을 제공하기 위해.

제안 방법

• 사전에 훈련된 신경망을 사용하여 현재 선택된 예제 집합을 기반으로 하지 않은 예제의 조건부 확률을 추정한다.
• 예측된 확률이 가장 낮은(가장 놀라운) 예제를 탐욕적으로 선택하여 집합에 추가함으로써 검색 공간을 가장 효과적으로 제약할 것으로 기대한다.
• 신경망이 현재 집합에 의해 충분히 설명될 수 있을 정도로 모든 예제의 조건부 확률이 충분히 높아질 때까지 반복적으로 집합을 확장한다.
• 신경망은 입력-출력 쌍 간의 국소적 공간적 관계를 포괄하는 이웃 함수를 기반으로 훈련되며, 특히 이미지 렌더링 및 오ート마타 유도 분야에서 뛰어난 성능을 발휘한다.
• 제약 조건 해결기 실행 이전의 사전 처리 단계로 적용되며, 많은 경우에 반복적인 CEGIS 개선이 필요 없도록 한다.
• 이 방법은 오류 유도 및 프로그래밍적 그림 그리기 합성 두 분야에서 평가되었으며, 전체, CEGIS, 무작위 샘플링 기준선과 비교되었다.

실험 결과

연구 질문

• RQ1 신경망이 프로그램 합성 검색 공간을 제약하는 데 가장 유용한 입력-출력 예제를 효과적으로 식별할 수 있는가?
• RQ2 모든 예제나 무작위 집합을 사용하는 것과 비교해, 소규모 대표 예제 집합을 선택함으로써 합성 시간과 안정성이 향상되는가?
• RQ3 제안된 방법의 성능은 CEGIS 및 그 변형 대비 솔루션 시간과 분산 측면에서 어떻게 비교되는가?
• RQ4 정확한 프로그램 합성 가능성을 유지하면서 필요한 예제 수를 얼마나 줄일 수 있는가?
• RQ5 이 방법은 이미지 렌더링 및 오류 유도와 같은 다양한 분야에서 견고한가?

주요 결과

• 제안된 방법은 전체 예제 집합 및 무작위 샘플링 대비 평균 합성 시간을 크게 줄였으며, 프로그래밍적 그림 그리기 합성에서 최고의 평균 성능을 달성했다.
• 이 방법은 전체 집합과 히우리스틱 기반의 h1+cegis 방법의 낮은 분산을 그대로 유지하여, 해결 시간 측면에서 높은 안정성을 보였다.
• 평균적으로 전체 예제의 20퍼센트 미만을 선택하면서도 높은 대표성 유지하여, 어떤 크기의 무작위 집합보다도 시간과 안정성 측면에서 뛰어난 성능을 발휘했다.
• CEGIS는 그림 그리기 도메인에서 경계 감지 반례와의 우연적 일치로 좋은 성능을 보였지만, 일반화되지 않으며, 제안된 방법은 이러한 의존성을 피한다.
• 신경망의 조건부 확률 예측이 가장 제약력 있는 예제를 효과적으로 식별하여 검색 공간의 효율적 프루닝을 가능하게 했다.
• 이 방법은 도메인 간 일반화 능력이 뛰어나며, 시간 및 분산 지표에서 강력한 기준선 대비 일관된 향상을 보였다.