[논문 리뷰] Representing Partial Programs with Blended Abstract Semantics

Maxwell Nye, Yewen Pu외 4명|arXiv (Cornell University)|2021. 05. 03.

Software Engineering Research참고 문헌 30인용 수 5

한 줄 요약

이 논문은 완전한 실행이 불가능할 때 부분적으로 작성된 프로그램을 표현하기 위해 학습된 모듈러 신경망을 사용하는 신경기호적 방법을 제안한다. 이 방법은 구체적인 실행 상태와 근사적인 의미론을 융합하여 더 효과적인 프로그램 합성에 기여한다. 순수 신경망 방법에 비해 고정된 검색 예산 내에서 루프나 고계 함수와 같은 복잡한 구조를 가진 프로그램을 더 정확하게 합성하는 데에 성공한다.

ABSTRACT

Synthesizing programs from examples requires searching over a vast, combinatorial space of possible programs. In this search process, a key challenge is representing the behavior of a partially written program before it can be executed, to judge if it is on the right track and predict where to search next. We introduce a general technique for representing partially written programs in a program synthesis engine. We take inspiration from the technique of abstract interpretation, in which an approximate execution model is used to determine if an unfinished program will eventually satisfy a goal specification. Here we \emph{learn} an approximate execution model implemented as a modular neural network. By constructing compositional program representations that implicitly encode the interpretation semantics of the underlying programming language, we can represent partial programs using a flexible combination of concrete execution state and learned neural representations, using the learned approximate semantics when concrete semantics are not known (in unfinished parts of the program). We show that these hybrid neuro-symbolic representations enable execution-guided synthesizers to use more powerful language constructs, such as loops and higher-order functions, and can be used to synthesize programs more accurately for a given search budget than pure neural approaches in several domains.

연구 동기 및 목표

• 완전한 실행이 불가능할 때 합성 과정 중 부분적으로 작성된 프로그램을 표현하는 데 도전하는 것.
• 더 나은 프로그램 경로 예측을 통해 프로그램 합성의 검색 효율을 향상시키는 것.
• 합성 엔진 내에서 루프나 고계 함수와 같은 더 풍부한 언어 구조를 지원하는 것.
• 신호 기반 실행과 학습된 의미론을 융합하여 더 정확하고 확장 가능한 합성 수행하는 것.

제안 방법

• 불완전한 프로그램을 위한 근사 실행 모델을 구축하기 위해 추상 해석 원리를 활용하는 것.
• 특히 실행 불가능한 코드 세그먼트에서 프로그래밍 언어 구조의 의미론을 학습하기 위해 모듈러 신경망을 훈련하는 것.
• 의미론이 알려지지 않은 곳에서는 구체적 실행 상태와 학습된 신경망 근사치를 융합한 하이브리드 프로그램 표현을 구성하는 것.
• 언어 의미론을 암묵적으로 코딩하는 구성적 프로그램 표현을 사용하여 다양한 프로그램 구조 간의 일반화를 가능하게 하는 것.
• 학습된 의미론을 실행 지도형 합성 엔진에 통합하여 타당하고 정확한 프로그램으로의 검색을 이끄는 것.
• 비결정적 변수나 불완전한 제어 흐름을 포함하고 있어도 부분 프로그램에 대해 추론할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 학습된 신경망 모델이 정확한 합성에 기여할 수 있도록 불완전한 프로그램의 의미론을 효과적으로 근사화할 수 있는가?
• RQ2 구체적 실행과 학습된 의미론을 융합할 경우 순수 신경망 또는 기호적 방법에 비해 합성 성능가 개선되는가?
• RQ3 이 하이브리드 표현 방식이 루프나 고계 함수와 같은 복잡한 구조를 가진 프로그램의 합성에 어느 정도 기여할 수 있는가?
• RQ4 제한된 계산 예산 하에서 제안된 방법이 검색 효율성과 정확도를 유지하거나 향상시키는가?

주요 결과

• 하이브리드 신경기호적 표현은 기존에 실행 불가능한 부분 프로그램에 대해서도 합성 엔진이 효과적으로 추론할 수 있도록 한다.
• 이 방법은 순수 신경망 방법보다 루프나 고계 함수와 같은 고급 언어 구조의 사용을 더 신뢰성 있게 지원한다.
• 여러 도메인에서 동일한 검색 예산 하에서 순수 신경망 접근법에 비해 더 높은 프로그램 합성 정확도를 달성한다.
• 학습된 신경망 컴포넌트는 비결정적 또는 불완전한 코드 영역에서 효과적인 의미론 근사치를 제공하여 검색 가이드라인을 향상시킨다.