[논문 리뷰] Neural Functional Programming

John Feser, Marc Brockschmidt외 2명|arXiv (Cornell University)|2016. 11. 07.

Reinforcement Learning in Robotics인용 수 3

한 줄 요약

이 논문은 입력-출력 예제로부터 프로그램 학습을 향상시키기 위해 기울기 전파 가능한 기능적 프로그래밍 언어를 제안한다. 불변성, 정적 타이핑, 제어된 제어 흐름 등의 프로그래밍 언어 원칙을 통합함으로써, 종단 간 기울기 전파 가능한 프로그램 합성 기능을 제공하며, 기존 베이스라인 대비 학습 성공률에서 뚜렷한 우월성을 보인다.

ABSTRACT

We discuss a range of modeling choices that arise when constructing an end-to-end differentiable programming language suitable for learning programs from input-output examples. Taking cues from programming languages research, we study the effect of memory allocation schemes, immutable data, type systems, and built-in control-flow structures on the success rate of learning algorithms. We build a range of models leading up to a simple differentiable functional programming language. Our empirical evaluation shows that this language allows to learn far more programs than existing baselines.

연구 동기 및 목표

• 입력-출력 예제로부터 종단 간 학습이 가능한 기울기 전파 가능한 프로그래밍 언어를 설계하는 것.
• 메모리 할당, 불변성, 타입 시스템, 제어 흐름과 같은 핵심 프로그래밍 언어 기능이 프로그램 학습 성능에 미치는 영향을 조사하는 것.
• 기울기 전파성을 유지하면서 효과적인 신경 프로그램 합성을 가능하게 하는 최소한의 기능적 언어를 구축하는 것.
• 기존 접근 방식과 비교하여 언어 설계 선택 사항이 학습 성공률에 미치는 영향을 경험적으로 평가하는 것.

제안 방법

• 기울기 전파 가능한 프로그램 행동을 보장하기 위해 불변성과 정적 타이핑을 갖춘 기능적 프로그래밍 언어를 설계한다.
• 프로그램 실행 트레이스를 통해 기울기 계산을 지원하는 메모리 할당 기법을 구현한다.
• 기울기 전파 가능한 의미론을 사용하여 조건문, 재귀 등 내장된 제어 흐름 구조를 기울기 전파 가능한 방식으로 통합한다.
• 프로그램 실행을 추적하고 프로그램 구조를 통해 역전파를 가능하게 하는 기울기 전파 가능한 인터프리터를 구축한다.
• 기울기 전파 가능한 실행을 최적화하여 입력-출력 정확도를 확보함으로써 신경 모델이 프로그램을 예측하도록 훈련한다.
• 학습 성능에 미치는 영향을 평가하기 위해 언어 기능(예: 가변성, 타입 시스템, 제어 흐름)을 체계적으로 분석한다.

실험 결과

연구 질문

• RQ1 메모리 할당 전략이 신경 프로그램 합성 모델의 기울기 전파성과 학습 성능에 어떤 영향을 미치는가?
• RQ2 데이터 구조의 불변성이 프로그램 학습의 신뢰성과 성공률에 얼마나 기여하는가?
• RQ3 타입 시스템이 기울기 전파 가능한 프로그램의 일반화 및 표현력에 어떤 영향을 미치는가?
• RQ4 내장된 제어 흐름 구조는 모델이 복잡한 프로그램을 학습하는 데 어떤 영향을 미치는가?
• RQ5 최소한의 기울기 전파 가능한 기능적 언어가 기존의 신경 프로그램 합성 베이스라인을 초월할 수 있는가?

주요 결과

• 제안된 기울기 전파 가능한 기능적 프로그래밍 언어는 기존의 베이스라인 대비 학습 성공률를 크게 향상시킨다.
• 불변성과 정적 타이핑은 프로그램 합성에서 모델의 일반화 능력을 향상시키고 훈련의 불안정성을 감소시킨다.
• 기울기 전파 가능한 의미론으로 구현된 제어 흐름 구조는 모델이 재귀적이고 조건부 프로그램을 효과적으로 학습할 수 있도록 한다.
• 기울기 흐름을 유지하는 메모리 할당 기법은 더 안정적이고 정확한 프로그램 생성을 이끈다.
• 경험적 평가 결과, 언어 설계 선택 사항이 종합적으로 종단 간 프로그램 학습의 성공률 향상에 기여한다.