[논문 리뷰] CrossBeam: Learning to Search in Bottom-Up Program Synthesis

Kensen Shi, Hanjun Dai외 2명|arXiv (Cornell University)|2022. 03. 20.

Software Engineering Research인용 수 6

한 줄 요약

CrossBeam는 하부 프로그램 합성에서 검색을 지도하는 신경망 검색 정책을 제안하며, 전체 검색 컨텍스트와 실행 결과를 바탕으로 이전에 탐색된 프로그램을 선택하고 조합함으로써 검색을 지도한다. 비스킷 기반 학습을 통해 온정책 학습을 수행하여, 문자열 조작 작업에서 최신 기술 대비 62% 높은 작업 성공률을 달성했고, 이전 방법이 실패하는 어려운 논리 프로그래밍 작업에서는 거의 100%의 성공률을 기록했다.

ABSTRACT

Many approaches to program synthesis perform a search within an enormous space of programs to find one that satisfies a given specification. Prior works have used neural models to guide combinatorial search algorithms, but such approaches still explore a huge portion of the search space and quickly become intractable as the size of the desired program increases. To tame the search space blowup, we propose training a neural model to learn a hands-on search policy for bottom-up synthesis, instead of relying on a combinatorial search algorithm. Our approach, called CrossBeam, uses the neural model to choose how to combine previously-explored programs into new programs, taking into account the search history and partial program executions. Motivated by work in structured prediction on learning to search, CrossBeam is trained on-policy using data extracted from its own bottom-up searches on training tasks. We evaluate CrossBeam in two very different domains, string manipulation and logic programming. We observe that CrossBeam learns to search efficiently, exploring much smaller portions of the program space compared to the state-of-the-art.

연구 동기 및 목표

• 프로그램 합성 과정에서 검색 공간의 기하급수적 증가 문제를 해결하기 위해 효과적인 검색 정책을 학습하는 것.
• 모델을 희귀하게 쿼리하거나 검색 컨텍스트를 忽略하는 기존의 학습-검색 방법을 개선하는 것.
• 실행 결과와 전체 검색 이력 정보를 활용하여 검색 중 실시간으로 신경망 가이던스를 제공함으로써 효율적인 검색을 가능하게 하는 것.
• 자신의 검색 과정에서 생성된 데이터를 바탕으로 온정책 학습을 수행하여, 분포 이탈 문제를 피하는 것.
• 문자열 조작과 인덕티브 논리 프로그래밍을 포함한 다양한 도메인에서의 효과성을 입증하는 것.

제안 방법

• CrossBeam는 입력값과 상수에서 점진적으로 프로그램을 구성하는 하부 프로그램 열거 검색 전략을 사용한다.
• 각 단계에서 포인터 네트워크가 도메인 특화 언어(DSL) 연산을 사용해 이전에 탐색된 프로그램을 선택하고 조합하며, 신경망 모델이 이를 지도한다.
• 모델는 과거의 프로그램과 그 실행 결과를 포함한 전체 검색 컨텍스트를 입력으로 받아 결정을 내린다.
• 신경망 모델는 비스킷 기반 학습을 통해 학습되며, 온정책 검색 중 정답 프로그램에의 진전을 기반으로 손실이 계산된다.
• 검색은 탐색된 값의 집합을 유지하며, 선택된 인자 목록에 연산을 적용하여 새로운 값을 생성한다.
• 부분 프로그램의 실행 결과는 검색 공간을 동적으로 정보 제공하고 가지치기하는 데 사용된다.

실험 결과

연구 질문

• RQ1 온정책 학습된 신경망 모델은 이전에 탐색된 프로그램을 기반으로 하부 프로그램 합성에서 검색을 더 효과적으로 이끌 수 있는가?
• RQ2 전체 검색 컨텍스트와 실행 결과를 통합함으로써 프로그램 합성의 검색 효율성과 성공률이 향상되는가?
• RQ3 실시간으로 지속적으로 쿼리되는 핸즈온 모델은 효과적인 분기 계수를 줄이고 기하급수적 증가를 줄일 수 있는가?
• RQ4 Hard synthesis 문제에서 CrossBeam은 최신 기술 대비 작업 커버리지와 성공률 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 문자열 조작과 논리 프로그래밍과 같은 다양한 도메인으로 일반화 가능한가?

주요 결과

• 문자열 조작 도메인에서 CrossBeam는 동일한 테스트 세트에서 50,000개의 후보 표현 내에서 Bustle보다 62% 더 많은 작업을 해결했다.
• 해결책 크기가 큰 논리 프로그래밍 작업에서는 CrossBeam가 거의 100%의 성공률을 기록했고, 이전 최신 기술 방법들은 0%의 성공률을 기록했다.
• 최신 기술 방법 대비 CrossBeam는 탐색한 프로그램 공간의 비율을 크게 줄여 검색 효율성이 향상됨을 시사했다.
• 모델의 온정책 학습은 학습과 추론 간의 일치를 향상시켜, 이질적 분포 문제를 야기하는 오프정책 학습에서 흔히 발생하는 문제를 피할 수 있었다.
• 전체 컨텍스트와 실행 피드백을 통합한 하부 프로그램 검색은 CrossBeam이 비최적의 선택에서 회복하고 하위 프로그램을 더 효과적으로 조합할 수 있도록 했다.
• 기본 하부 프로그램 열거 방식조차도 ILP 환경에서 Metagol과 Popper를 뛰어넘는 성능을 보였으며, 이는 검색 전략이 모델 설계만큼 중요할 수 있음을 시사한다.