[논문 리뷰] Learning to Infer Program Sketches

Maxwell Nye, Luke Hewitt외 2명|arXiv (Cornell University)|2019. 02. 17.

Software Engineering Research인용 수 32

한 줄 요약

이 논문은 입력-출력 예제와 자연어 사양으로부터 중간 프로그램 스케치를 생성하는 데 학습하는 신경-기호 프로그램 합성 시스템인 SketchAdapt를 제안한다. 자기지도 학습 목표를 통해 신경 패턴 인식과 기호 검색을 동적으로 균형 잡는 모델은 영어-코드 작업에서 최신 기술 성능을 달성하며, 기억력에서는 신경 모델과 유사하고 일반화에서는 기호 방법과 유사하다.

ABSTRACT

Our goal is to build systems which write code automatically from the kinds of specifications humans can most easily provide, such as examples and natural language instruction. The key idea of this work is that a flexible combination of pattern recognition and explicit reasoning can be used to solve these complex programming problems. We propose a method for dynamically integrating these types of information. Our novel intermediate representation and training algorithm allow a program synthesis system to learn, without direct supervision, when to rely on pattern recognition and when to perform symbolic search. Our model matches the memorization and generalization performance of neural synthesis and symbolic search, respectively, and achieves state-of-the-art performance on a dataset of simple English description-to-code programming problems.

연구 동기 및 목표

• 프로그래밍-예제 및 자연어 사양을 위한 신경 패턴 인식과 기호 추론을 결합하는 도메인 일반 프로그램 합성 시스템을 개발하는 것.
• 명시적 지도 없이 패턴 인식과 기호 검색에 언제 의존할지를 학습할 수 있도록 하는 것.
• 데이터 효율성 향상과 특히 드문 또는 미리보지 않은 하위표현에 대한 일반화 향상을 위한 것.
• 순수 신경 또는 기호 방법이 어려워하는 복잡한 실제 프로그래밍 작업, 예를 들어 AlgoLisp와 같은 작업에서 접근 방식을 검증하는 것.

제안 방법

• 모델이 다양한 구체성 수준의 중간 프로그램 표현을 생성할 수 있도록 유연하고 도메인 일반적인 스케치 문법을 도입한다.
• 입력 예제와 자연어 기술에 조건부로 스케치를 제안하는 학습된 신경 스케치 생성기를 활용한다.
• 구멍 부분의 가능한 구현을 검색함으로써 스케치를 완성하기 위해 기호적 순열 프로그램 합성기를 사용한다.
• 과제 난이도에 따라 적절한 스케치 분해능을 학습하도록 유도하는 새로운 자기지도 학습 목표를 적용한다.
• 프로그램 출력의 대조 학습과 재구성 신호를 사용하여 시스템을 엔드 투 엔드로 훈련한다.
• 동적 적응을 지원: 간단한 과제는 더 완성도 높은 스케치(신경 중심)를, 복잡한 과제는 더 추상적인 스케치(기호 중심)를 생성한다.

실험 결과

연구 질문

• RQ1 신경-기호 시스템은 명시적 지도 없이 패턴 인식과 기호 추론을 균형 잡는 것을 학습할 수 있는가?
• RQ2 시스템이 중간 스케치를 생성하는 능력이, 샘플 외 과제에서 데이터 효율성과 일반화에 어떤 영향을 미치는가?
• RQ3 기억력과 일반화가 모두 필요한 영어-코드 프로그래밍 과제에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 훈련 중에 보이지 않은 '홀수' 값 같은 이전에 보지 못한 하위표현에 대해 시스템은 얼마나 잘 일반화되는가?
• RQ5 입력-출력 예제 외에도 비정형 자연어 사양을 얼마나 잘 활용할 수 있는가?

주요 결과

• SketchAdapt는 AlgoLisp 영어-코드 데이터셋에서 최신 기술 성능을 달성하며, RNN 기반 베이스라인과 순수 기호 방법을 모두 앞서간다.
• 빔 크기가 10이고 전체 훈련 데이터를 사용할 경우, SketchAdapt는 거의 완벽한 정확도를 달성하며 이전에 보고된 최신 기술 결과를 크게 초월한다.
• 작은 훈련 서브셋에서 SketchAdapt는 'Generator only' RNN 베이스라인보다 더 잘 일반화되어 데이터 효율성이 향상됨을 보여준다.
• SketchAdapt는 '홀수' 하위표현에 대해 강력한 제로샷 일반화를 보이며, 훈련 데이터에 포함되지 않은 '홀수'를 포함한 635개의 테스트 프로그램을 해결했고, RNN 베이스라인은 이 작업에서 실패한다.
• 모델은 '짝수' 프로그램에도 효과적으로 일반화되어, 이미 보인 하위표현과 보이지 않은 하위표현 모두에 대해 강건함을 보인다.
• 기호 합성 컴포넌트는 강력한 일반화를 가능하게 하고, 신경 컴포넌트는 높은 기억력 정확도를 확보하여 이전 모델이 달성하지 못한 균형을 이룬다.