[논문 리뷰] Improving the Universality and Learnability of Neural Programmer-Interpreters with Combinator Abstraction

Xiao Da, Jo-Yu Liao외 1명|arXiv (Cornell University)|2018. 02. 15.

Ferroelectric and Negative Capacitance Devices인용 수 9

한 줄 요약

이 논문은 유연성과 학습 가능성 향상을 위해 최소한의 4개의 커펙터를 통합한 새로운 NPI 아키텍처인 조합 신경 프로그래머-인터프리터(CNPI)를 제안한다. 프로그램 복잡도를 커펙터에 위임함으로써 핵심 제어기의 부담을 줄여, 조합 가능한 프로그램의 보편적 실행을 가능하게 하고, 커리큘럼 설계를 통한 지도 학습 및 정책 그래เดียน트 강화 학습 모두를 지원한다.

ABSTRACT

To overcome the limitations of Neural Programmer-Interpreters (NPI) in its universality and learnability, we propose the incorporation of combinator abstraction into neural programing and a new NPI architecture to support this abstraction, which we call Combinatory Neural Programmer-Interpreter (CNPI). Combinator abstraction dramatically reduces the number and complexity of programs that need to be interpreted by the core controller of CNPI, while still allowing the CNPI to represent and interpret arbitrary complex programs by the collaboration of the core with the other components. We propose a small set of four combinators to capture the most pervasive programming patterns. Due to the finiteness and simplicity of this combinator set and the offloading of some burden of interpretation from the core, we are able construct a CNPI that is universal with respect to the set of all combinatorizable programs, which is adequate for solving most algorithmic tasks. Moreover, besides supervised training on execution traces, CNPI can be trained by policy gradient reinforcement learning with appropriately designed curricula.

연구 동기 및 목표

• 복잡한 프로그램을 처리하는 데 한계가 있는 기존 신경 프로그래머-인터프리터(NPI)의 보편성 부족과 낮은 학습 가능성 문제를 해결한다.
• 형식적인 커펙터 추상화 계층을 도입하여 핵심 제어기가 해석해야 할 프로그램의 수와 복잡도를 줄인다.
• 일반적인 프로그래밍 패턴을 포괄하는 최소한의 유한한 커펙터 집합을 설계하여 확장 가능한 프로그램 표현을 가능하게 한다.
• 모든 조합 가능한 프로그램의 집합에 대해 보편성을 달성하여 대부분의 알고리즘 작업을 커버한다.
• 실행 트레이스 기반 지도 학습과 커리큘럼 기반 최적화를 통한 정책 그래디언트 강화 학습을 모두 지원한다.

제안 방법

• 핵심 제어와 커펙터 기반 프로그램 구축을 분리하는 새로운 NPI 아키텍처인 조합 신경 프로그래머-인터프리터(CNPI)를 도입한다.
• 보편적인 프로그래밍 패턴을 표현하기 위해 최소한의 4개의 커펙터를 정의하여 핵심 제어기가 저수준 프로그램 구조를 해석할 필요를 줄인다.
• 복잡한 프로그램을 이러한 커펙터의 조합으로 분해하여 핵심 제어기의 해석 복잡도를 외부로 이관한다.
• 핵심 제어기와 커펙터 계층을 조합하여 조합 가능한 프로그램의 집합에 대해 보편적 인터프리터를 구성한다.
• 실행 트레이스 기반 지도 학습과 커리큘럼 설계를 통한 정책 그래디언트 강화 학습을 모두 지원한다.
• 핵심 제어기가 커펙터를 올바르게 조합하고 호출하도록 학습하여 다양한 알고리즘 작업 간의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 최소한의 커펙터 집합이 신경 프로그래머 인터프리터에서 보편적 프로그램 실행을 위해 필요한 핵심 프로그래밍 패턴을 포괄할 수 있는가?
• RQ2 커펙터에 프로그램 해석 복잡도를 위임함으로써 NPI의 핵심 제어기의 학습 가능성과 확장성은 향상되는가?
• RQ3 커펙터 추상화에 의존함으로써 CNPI는 광범위한 알고리즘 작업의 클래스에 대해 보편성을 달성할 수 있는가?
• RQ4 커리큘럼 설계를 통한 지도 학습과 강화 학습을 병행하여 CNPI를 효과적으로 훈련시킬 수 있는가?
• RQ5 커펙터의 통합이 신경 프로그래머 인터프리터의 표현력과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 CNPI 아키텍처는 대부분의 알고리즘 작업을 해결하는 데 충분한, 모든 조합 가능한 프로그램의 집합에 대해 보편성을 달성한다.
• 유한하고 단순한 4개의 커펙터 집합을 사용함으로써 핵심 제어기가 해석해야 할 프로그램의 수와 복잡도가 크게 감소한다.
• CNPI는 실행 트레이스 기반 지도 학습과 커리큘럼 기반 훈련을 통한 정책 그래디언트 강화 학습을 모두 지원한다.
• 커펙터 추상화를 통해 고수준 구조와 저수준 제어를 분리함으로써 확장 가능하고 일반화 가능한 프로그램 학습이 가능해진다.
• 표준 NPI와 비교해도 강력한 표현력을 유지하면서 훈련 안정성과 해석 가능성도 향상된다.
• 커펙터 통합으로 핵심 제어기가 조합과 제어에 집중할 수 있게 되어 전체 시스템의 성능 향상과 일반화 능력 향상에 기여한다.