[논문 리뷰] Towards Synthesizing Complex Programs from Input-Output Examples

Xinyun Chen, Chang Liu외 1명|arXiv (Cornell University)|2017. 06. 05.

Software Engineering Research참고 문헌 29인용 수 15

한 줄 요약

이 논문은 복잡한 프로그램을 입력-출력 예제로부터 합성하는 데 있어, 재귀적 파싱을 위한 도메인 특화 비미분 가능 기계를 운영하는 신경망 프로그램을 훈련시킴으로써 새로운 접근법을 제안한다. 비미분 가능 기계와 이원 단계 강화 학습 알고리즘을 조합함으로써, 이 방법은 훈련 입력보다 500배 길이가 넘는 입력 시퀀스에서도 100% 테스트 정확도를 달성하여 이전 최첨단 기술들이 겪었던 일반화 실패 문제를 해결한다.

ABSTRACT

In recent years, deep learning techniques have been developed to improve the performance of program synthesis from input-output examples. Albeit its significant progress, the programs that can be synthesized by state-of-the-art approaches are still simple in terms of their complexity. In this work, we move a significant step forward along this direction by proposing a new class of challenging tasks in the domain of program synthesis from input-output examples: learning a context-free parser from pairs of input programs and their parse trees. We show that this class of tasks are much more challenging than previously studied tasks, and the test accuracy of existing approaches is almost 0%. We tackle the challenges by developing three novel techniques inspired by three novel observations, which reveal the key ingredients of using deep learning to synthesize a complex program. First, the use of a non-differentiable machine is the key to effectively restrict the search space. Thus our proposed approach learns a neural program operating a domain-specific non-differentiable machine. Second, recursion is the key to achieve generalizability. Thus, we bake-in the notion of recursion in the design of our non-differentiable machine. Third, reinforcement learning is the key to learn how to operate the non-differentiable machine, but it is also hard to train the model effectively with existing reinforcement learning algorithms from a cold boot. We develop a novel two-phase reinforcement learning-based search algorithm to overcome this issue. In our evaluation, we show that using our novel approach, neural parsing programs can be learned to achieve 100% test accuracy on test inputs that are 500x longer than the training samples.

연구 동기 및 목표

• 간단한 문자열 또는 배열 연산을 넘어서는 복잡한 프로그램으로의 프로그램 합성 일반화 문제를 해결하기 위해.
• 실행 추적 감독 없이도 입력-트리 쌍에서 재귀적, 문맥 자유 문법 파서를 학습할 수 있는 방법을 개발하기 위해.
• 엔드 투 엔드 미분 가능 모델의 열악한 일반화 성능과 냉시작에서의 강화 학습 훈련 불안정성을 극복하기 위해.
• 신경망 프로그램이 훈련 중에 관찰한 것보다 훨씬 긴 입력에 대해 완전한 일반화가 가능하다는 것을 입증하기 위해.

제안 방법

• 재귀를 지원하고 유효한 프로그램으로의 검색 공간을 제한하는 도메인 특화 비미분 가능 기계를 설계하기 위해.
• 실행 추적을 복구하고 정책을 훈련하기 위해, 실행 추적 복구와 정책 훈련을 위한 새로운 이원 단계 강화 학습 알고리즘을 사용하여 이 기계를 운영하는 신경망 프로그램을 훈련하기 위해.
• 기계 아키텍처에 재귀를 내장하여 임의로 긴 입력으로의 일반화를 가능하게 하기 위해.
• 신경망 프로그램이 오직 유효하고 구조화된 프로그램만 생성하도록 제약을 주기 위해 비미분 가능 기계를 미분 가능 인터페이스로 활용하기 위해.
• 훈련을 두 단계로 분해하기 위해: 첫 번째로 가능한 실행 추적을 탐색하고, 두 번째로 복구된 추적을 지도로 사용하여 신경망 정책을 훈련하기 위해.
• 기계의 재귀적 구조를 활용하여 신경망 프로그램이 훈련 시퀀스 길이를 초월해 일반화할 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 문맥 자유 문법을 파싱하는 데 있어, 입력-출력 예제를 학습하면서 훈련 중에 관찰한 것보다 훨씬 긴 입력에 대해 신경망 프로그램이 일반화할 수 있는가?
• RQ2 실행 추적에 대한 지도 없이 냉시작에서 강화 학습을 수행할 때, 어떻게 안정성을 확보할 수 있는가?
• RQ3 비미분 가능 기계는 유효한 프로그램으로의 검색 공간을 어떻게 제한하고 일반화 성능를 향상시키는가?
• RQ4 재귀가 신경망 프로그램의 실행 기계에 효과적으로 통합될 수 있는가? 이를 통해 완벽한 일반화가 가능할 수 있는가?

주요 결과

• 제안된 방법은 훈련 시퀀스보다 500배 길이가 넘는 입력 시퀀스에서도 100% 테스트 정확도를 달성하여 완전한 일반화를 입증한다.
• 기존 최첨단 기술인 RobustFill과 StackRNN 역시 같은 긴 입력에서 거의 0%의 테스트 정확도를 기록하여 일반화 문제의 심각성을 드러낸다.
• 이원 단계 강화 학습 알고리즘이 국소 최적값을 피하고 냉시작에서 효과적인 훈련을 가능하게 하여 이전 방법들과는 달리 성공적으로 작동한다.
• 비미분 가능 기계에 재귀를 통합하는 것이 임의로 긴 입력으로의 일반화를 가능하게 하기 위해 필수적이다.
• 비미분 가능 기계의 사용은 신경망 프로그램이 오직 유효하고 구조화된 프로그램만 생성하도록 효과적으로 제약을 주어 훈련 데이터에 과적합되는 것을 방지한다.