[논문 리뷰] Neural Program Synthesis with Priority Queue Training

Daniel A. Abolafia, Mohammad Norouzi외 3명|arXiv (Cornell University)|2018. 01. 10.

Software Engineering Research참고 문헌 33인용 수 28

한 줄 요약

이 논문은 신경 프로그램 합성에 대한 강화 학습 방법인 우선순위 큐 학습(PQT)을 제안한다. PQT는 동적 우선순위 큐에서 상위-K개의 보상이 높은 프로그램을 반복적으로 학습하여 순환 신경망(RNN)을 개선한다. PQT는 튜링 완전한 BF 프로그래밍 언어에서 다양한 작업에서 정책 그래เดียน트와 유전자 알고리즘 기준선을 모두 능가하며, 길이 페널티를 적용했을 때 더 높은 성공률과 더 짧고 인간이 읽을 수 있는 프로그램을 생성한다.

ABSTRACT

We consider the task of program synthesis in the presence of a reward function over the output of programs, where the goal is to find programs with maximal rewards. We employ an iterative optimization scheme, where we train an RNN on a dataset of K best programs from a priority queue of the generated programs so far. Then, we synthesize new programs and add them to the priority queue by sampling from the RNN. We benchmark our algorithm, called priority queue training (or PQT), against genetic algorithm and reinforcement learning baselines on a simple but expressive Turing complete programming language called BF. Our experimental results show that our simple PQT algorithm significantly outperforms the baselines. By adding a program length penalty to the reward function, we are able to synthesize short, human readable programs.

연구 동기 및 목표

• 보상 함수 외에 정답 프로그램이나 정확한 출력이 필요 없는 일반적인 프로그램 합성 프레임워크를 개발하는 것.
• 간단한 반복 최적화 방법인 우선순위 큐 학습(PQT)이 신경 프로그램 합성에 효과적인지 평가하는 것.
• 정책 그래데이언트와 유전자 알고리즘과 같은 기존 기준선과 비교하여 튜링 완전한 프로그래밍 언어에서 PQT의 성능을 평가하는 것.
• 보상 함수에 프로그램 길이 페널티를 통합함으로써 PQT가 간결하고 인간이 읽을 수 있는 프로그램을 생성할 수 있는지 탐색하는 것.
• 다양한 작업과 랜덤 시드 간에 프로그램 합성 방법을 비교하기 위한 표준화된 평가 방법론을 수립하는 것.

제안 방법

• 해당 방법은 지금까지 생성된 상위-K개의 보상이 높은 프로그램을 유지하는 우선순위 큐를 유지하며, 이 프로그램들을 최대우도 기반으로 RNN에 훈련시킨다.
• RNN은 학습된 정책에서 자동으로 순차적으로 샘플링하여 새로운 프로그램을 생성하고, 실행 및 보상 평가 후 우선순위 큐에 추가된다.
• 학습 과정은 반복적으로 수행된다: 현재 상위-K개 프로그램으로 RNN을 재학습하고, 새로운 후보를 샘플링하며, 새로운 프로그램을 포함한 최상의 K개 프로그램으로 큐를 갱신한다.
• 정확도 평가를 위한 보상 함수가 정의되며, 프로그램 길이나 실행 시간에 대한 선택적 페널티를 통해 간결하고 효율적인 코드를 장려한다.
• 이 방법은 단지 8개의 연산만을 가진 최소화된 튜링 완전 언어인 BF 프로그래밍 언어에서 평가되며, 문법적으로 유효한 프로그램 생성이 가능하다.
• 여러 작업에 걸쳐 훈련 및 검증 케이스에서 성공률을 측정함으로써 정책 그래데이언트(PG) 및 유전자 알고리즘(GA) 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 간단한 반복 최적화 방법인 우선순위 큐 기반 접근이 프로그램 합성에서 기존의 강화 학습 및 유전자 알고리즘 기준선을 능가할 수 있는가?
• RQ2 동적 우선순위 큐에서 상위-K개 프로그램으로 RNN을 훈련하는 것이 표준 정책 그래데이언트 방법보다 더 안정적이고 신뢰도 높은 프로그램 합성 결과를 이끌 수 있는가?
• RQ3 보상 함수에 프로그램 길이 페널티를 포함할 경우 PQT 방법이 짧고 인간이 읽을 수 있는 프로그램을 생성할 수 있는가?
• RQ4 PQT 방법은 다양한 프로그래밍 작업(예: 문자열 조작 및 알고리즘 연산 포함)과 다수의 랜덤 시드에 대해 강건한가?
• RQ5 PQT는 사전 지도 없이 무작위로 초기화된 RNN과 빈 큐에서 출발하여 정확한 프로그램을 발견할 수 있는가?

주요 결과

• PQT는 20개의 작업 평균에서 훈련/평가 성공률이 각각 13.0 / 5.7을 기록하여 정책 그래데이언트(3.3 / 1.5)와 유전자 알고리즘(8.6 / 4.3)을 크게 능가했다.
• 역순 작업에서 PQT는 훈련 및 평가 세트 모두에서 20 / 20 성공을 달성했고, 정책 그래데이언트는 단지 3 / 2에 그쳤다.
• 안녕하라 출력 작업에서 PQT는 25 / 25 성공을 기록하여 PG+PQT 하이브리드의 최고 성능을 따라했고, GA는 단지 12 / 16에 그쳤다.
• PQT는 역순, 덧셈, 안녕하라 출력 등의 작업에서 인간이 읽을 수 있고 최소 길이의 BF 프로그램을 성공적으로 생성했으며, 예를 들어 문자열 뒤집기 작업에 대해 ",[>,]+[,<.]"와 같은 예시를 제공했다.
• 이 방법은 높은 신뢰도를 보였으며, 대부분의 랜덤 시드와 대부분의 작업에서 솔루션을 찾았고, 기준선들은 많은 조합에서 실패했다.
• 길이 페널티를 적용했을 때 PQT는 간결한 프로그램을 생성했으며, 예를 들어 "++++++++.---.+++++++..+++."과 같은 형태로 "hello"를 출력하는 프로그램을 생성하여 효과적인 코드 단순화를 보였다.