[논문 리뷰] Program Synthesis Through Reinforcement Learning Guided Tree Search

Riley Simmons-Edler, Anders Miltner외 1명|arXiv (Cornell University)|2018. 06. 08.

Software Engineering Research참고 문헌 20인용 수 3

한 줄 요약

이 논문은 강화학습 기반 트리 탐색(RLGTS)을 제안하며, 프로그램 생성을 강화학습으로 해결하는 마르코프 결정 과정(MDP)으로 모델링하는 새로운 프로그램 합성 접근법이다. 국소 최솟값을 피하기 위해 우선순위 탐색 트리가 통합되어 있다. RLGTS는 최신 기준보다 뛰어나며, 다음 최고의 방법보다 적어도 두 배 이상의 프로그램을 해결하고, 순수 강화학습 기반 기준보다 70–100% 더 높은 성능을 기록한다.

ABSTRACT

Program Synthesis is the task of generating a program from a provided specification. Traditionally, this has been treated as a search problem by the programming languages (PL) community and more recently as a supervised learning problem by the machine learning community. Here, we propose a third approach, representing the task of synthesizing a given program as a Markov decision process solvable via reinforcement learning(RL). From observations about the states of partial programs, we attempt to find a program that is optimal over a provided reward metric on pairs of programs and states. We instantiate this approach on a subset of the RISC-V assembly language operating on floating point numbers, and as an optimization inspired by search-based techniques from the PL community, we combine RL with a priority search tree. We evaluate this instantiation and demonstrate the effectiveness of our combined method compared to a variety of baselines, including a pure RL ablation and a state of the art Markov chain Monte Carlo search method on this task.

연구 동기 및 목표

• 기존의 프로그램 합성 방법이 큰 레이블이 붙은 데이터셋에 의존하거나 특정 언어 구조를 가정하는 데서 비롯되는 한계를 해결하기 위해.
• 강화학습과 탐색 기반 합성의 장점을 융합하여 도메인 특화 언어 전반에서의 확장성과 일반화 능력을 향상시키기 위해.
• 감독 학습 전훈에 대한 의존도를 줄이면서도, 입력/출력 예제로부터 정확한 프로그램을 합성하는 데 높은 성공률을 유지하기 위해.
• 진짜 프로그램 길이가 알려져 있거나 잘 추정되지 않을 경우에도 샘플 효율성과 강인성을 향상시키기 위해.
• 언어의 미분 가능성이나 훈련 데이터 가용성에 대한 가정 없이 기존 프로그래밍 언어 기법과의 통합을 가능하게 하기 위해.

제안 방법

• 논문은 프로그램 합성을 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 부분 프로그램을 나타내고, 행동은 코드 라인을 의미하며, 보상은 부분 정확성에 기반한다.
• 심층 Q-네트워크(DQN)는 강화학습을 통해 누적 보상을 최대화하는 방향으로 행동(코드 라인)을 선택하는 정책을 학습한다.
• 우선순위 탐색 트리가 통합되어 탐색을 이끌며, 더 정확한 해에 도달할 가능성이 높은 경로를 우선순위로 정하고 국소 최솟값에 머무는 시간을 줄인다.
• 이 방법은 가분성 있는 언어 구성요소나 큰 훈련 데이터셋이 필요로 하지 않으며, 실행 가능한 부분 프로그램과 보상 함수 외에는 모두 필요로 하지 않는다.
• 성능은 RISC-V 어셈블리어에서 부동소수점 연산을 대상으로 한 하위 집합에서 평가되었으며, 성공률과 샘플 효율성으로 측정되었다.
• 이 프레임워크는 프로그래밍 언어 커뮤니티에서 기존의 합성 기법과 조합 가능하도록 설계되어 하이브리드 솔루션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 큰 레이블이 붙은 데이터셋이나 가분성 있는 언어 기능이 없는 조건에서 강화학습이 프로그램 합성에 효과적으로 적용될 수 있는가?
• RQ2 우선순위 탐색 트리와 강화학습을 융합할 경우 순수 강화학습이나 표준 탐색 방법에 비해 샘플 효율성과 성공률에 어떤 영향을 미치는가?
• RQ3 진짜 프로그램 길이에 대한 불확실성, 특히 탐색 깊이 제한이 진짜 길이보다 3줄 초과할 경우에 메서드의 강인성은 어떠한가?
• RQ4 다양한 프로그램 길이와 행동 공간 복잡성에 대해 이 메서드는 어느 정도 일반화되는가?
• RQ5 다양한 탐색 깊이와 명령어 세트 제약 조건 하에서 RLGTS는 MCMC와 같은 최신 기준 탐색 기반 방법보다 어떻게 성능을 냈는가?

주요 결과

• RLGTS는 모든 테스트된 프로그램 길이에서 가장 우수한 베이스라인(다중 손잡이 밴딧)보다 적어도 두 배 이상의 프로그램을 해결한다.
• 우선순위 탐색 트리의 통합은 순수 Q-함수 기반 강화학습의 아블레이션 대비 성능을 70–100% 향상시켰다.
• 탐색 깊이가 진짜 프로그램 길이에 정확히 맞춰져 있을 경우 MCMC는 경쟁력 있는 성능을 보였지만, 진짜 길이보다 3줄 초과하는 경우 성능이 50–80% 떨어졌다.
• 행동 공간이 2–3개의 명령어로 제한된 상황에서도 RLGTS는 40–50%의 성공률 유지를 유지했고, MCMC는 20,000번의 尝시에도 4개 이상의 명령어를 가진 프로그램을 전혀 해결하지 못했다.
• 100만 번의 尝시 제한 하에서 MCMC는 2명령어 프로그램에서만 RLGTS와 동등한 성능을 보였고, 17개의 명령어를 가진 프로그램은 전혀 해결하지 못했지만, RLGTS는 약 9%의 프로그램을 효율적으로 해결했다.
• 생성된 프로그램 약 30%는 볼록 보상 구조를 가지며, 이는 최선 우선 탐색으로 쉽게 해결 가능한 경우이지만, 인간이 작성한 프로그램에서는 드물기 때문에 필터링되었다.