[논문 리뷰] HOUDINI: Lifelong Learning as Program Synthesis

Lazar Valkov, Dipak Chaudhari외 3명|arXiv (Cornell University)|2018. 03. 31.

Ferroelectric and Negative Capacitance Devices인용 수 26

한 줄 요약

Houdini는 라이프러닝을 프로그램 합성으로 프레임화하는 신경기호적 프레임워크를 제안한다. 이는 신호 프로그램 검색과 기울기 하강법을 결합하여 가중치가 가능한, 강력한 타입을 가진 기능적 프로그램을 학습한다. 이는 신경 라이브러리 함수를 재사용하여 다양한 작업 간에 고수준 개념을 효과적으로 전이시켜, 기존의 방법보다 재난적 기억 상실과 인지-알고리즘 작업(예: 세는 것, 최단 경로 계산)에서의 부정적 전이를 방지하는 데 성공한다.

ABSTRACT

We present a neurosymbolic framework for the lifelong learning of algorithmic tasks that mix perception and procedural reasoning. Reusing high-level concepts across domains and learning complex procedures are key challenges in lifelong learning. We show that a program synthesis approach that combines gradient descent with combinatorial search over programs can be a more effective response to these challenges than purely neural methods. Our framework, called HOUDINI, represents neural networks as strongly typed, differentiable functional programs that use symbolic higher-order combinators to compose a library of neural functions. Our learning algorithm consists of: (1) a symbolic program synthesizer that performs a type-directed search over parameterized programs, and decides on the library functions to reuse, and the architectures to combine them, while learning a sequence of tasks; and (2) a neural module that trains these programs using stochastic gradient descent. We evaluate HOUDINI on three benchmarks that combine perception with the algorithmic tasks of counting, summing, and shortest-path computation. Our experiments show that HOUDINI transfers high-level concepts more effectively than traditional transfer learning and progressive neural networks, and that the typed representation of networks significantly accelerates the search.

연구 동기 및 목표

• 기존 작업에서의 지식을 유지하면서 새로운 작업을 학습해야 하는 라이프러닝의 과제를 해결한다.
• 순수 신경망 방법의 한계를 극복하여 고수준 개념의 전이와 재난적 기억 상실 방지를 가능하게 한다.
• 모듈형이고 조합 가능한 프로그램 표현을 통해 다양한 작업 간에 신경 구성 요소의 효과적인 재사용을 가능하게 한다.
• 기호적 검색과 기울기 기반 학습을 결합하여 확장 가능하고 해석 가능한 신경망 아키텍처 탐색을 위한 프레임워크를 개발한다.

제안 방법

• 고차 함수 조합자를 사용하여 신경망을 강력한 타입, 미분 가능한 기능적 프로그램으로 표현한다.
• 타입 기반 검색을 수행하기 위해 기호적 프로그램 합성기를 활용하여 라이브러리 함수와 아키텍처를 재사용하기 위해 선택한다.
• 합성된 프로그램을 종단 간으로 훈련하기 위해 확률적 기울기 하강법을 사용하여 아키텍처와 파라미터를 동시에 최적화한다.
• 두 가지 검색 전략을 구현한다: 단순성에 중점을 두는 상향식, 타입 기반의 순차적 탐색과 타입 기반의 진화 알고리즘.
• 사전 훈련된 함수의 신경 라이브러리를 활용하여 구성 요소를 동 冻결하고 작업 간에 선택적으로 재사용함으로써 재난적 기억 상실을 방지한다.
• 합성 연산(예: 합계, 최단 경로)을 기능적 조합자로 표현하여 재귀적이고 반복적인 절차를 자연스럽게 표현한다.

실험 결과

연구 질문

• RQ1 프로그램 합성 기법이 다양한 작업 간에 신경 구성 요소의 구조적 재사용을 가능하게 함으로써 라이프러닝 성능을 향상시킬 수 있는가?
• RQ2 복잡한 인지-절차적 작업을 학습하는 데 있어, 타입 기반 기능적 프로그램에 대한 기호적 검색은 종단 간 신경망 훈련보다 우월한가?
• RQ3 Houdini는 전이 학습과 점진적 신경망과 비교해 복잡한 기억 상실과 부정적 전이를 어느 정도 방지할 수 있는가?
• RQ4 시각 입력에 대한 추론을 포함하는 작업에서, Houdini는 이해 가능하고 알고리즘적으로 의미 있는 프로그램(예: 벨먼-포드와 유사한)을 발견할 수 있는가?
• RQ5 타입 기반 기능적 표현이 라이프러닝 환경에서 검색 과정을 상당히 가속화하고 일반화 성능을 향상시키는 데 기여하는가?

주요 결과

• Houdini는 릴랙세이션 단계를 근사화하는 데 학습된 신경 함수를 사용하는 벨먼-포드 최단 경로 알고리즘과 유사한 프로그램 구조를 발견하였다.
• 알고리즘적 추론이 포함된 회귀 작업(예: 세는 것, 합계 계산)에서 Houdini는 count_digit(5)에 대해 0.41 RMSE, recognize_digit(4)에 대해 0.33% CE를 기록하여 베이스라인을 초월하였다.
• LS5 시퀀스에서 Houdini는 recognize_digit(4)에 대해 0.33% CE를 기록하여 다른 방법보다 뚜렷하게 뛰어난 성능을 보였으며, 효과적인 고수준 전이를 입증하였다.
• 전이 기회가 없는 분류 작업에서는 모든 방법이 유사하게 성능을 보였으며, Houdini의 장점은 전이 가능한 설정에서 나타남을 확인하였다.
• 타입 기반 기능적 표현이 초기에 비가능한 프로그램을 제거하여 검색 과정을 가속화하고 효율성과 확장성을 향상시켰다.
• Houdini는 작업 간에 신경 라이브러리 함수를 동결하고 선택적으로 재사용함으로써 부정적 전이와 재난적 기억 상실을 방지하였다.