[논문 리뷰] Differentiable Programs with Neural Libraries

Alexander L. Gaunt, Marc Brockschmidt외 2명|arXiv (Cornell University)|2016. 11. 07.

Neural Networks and Applications인용 수 31

한 줄 요약

이 논문은 입력-출력 예제로부터 지속적인 학습이 가능한 해석 가능하고 모듈러한 모델을 만들기 위해 가분 프로그래밍과 신경망을 결합한 Neural TerpreT(NTPT) 프레임워크를 소개한다. 실행 가능한 소스 코드로 구조화된 해결책을 사용하며, 훈련 가능한 신경 컴포넌트를 호출함으로써 강력한 일반화 능력과 이전 작업에 대한 지속적인 향상 능력을 달성하며, 치명적인 잊음(catastrophic forgetting)을 피한다. 이는 시각적 프로그래밍 예제 작업에서 순수 신경 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

We develop a framework for combining differentiable programming languages with neural networks. Using this framework we create end-to-end trainable systems that learn to write interpretable algorithms with perceptual components. We explore the benefits of inductive biases for strong generalization and modularity that come from the program-like structure of our models. In particular, modularity allows us to learn a library of (neural) functions which grows and improves as more tasks are solved. Empirically, we show that this leads to lifelong learning systems that transfer knowledge to new tasks more effectively than baselines.

연구 동기 및 목표

• 약한 감독(입력-출력 쌍)을 사용하는 시각적 프로그래밍 예제(PPBE)에서 지속적 학습의 과제를 해결하기 위해, 이미지나 텍스트를 포함한 다양한 작업 간의 일반화 능력이 요구되는 모델이 어떻게 작동할 수 있는지 탐구한다.
• 해석 가능한 프로그램 구조와 훈련 가능한 신경 컴포넌트를 결합한 하이브리드 아키텍처를 개발하여, 작업 간의 모듈성과 지식 공유를 가능하게 한다.
• 새로운 작업이 도입된 후에도 이전 작업의 성능 향상이 가능하도록 하여 지속적 학습에서 치명적인 잊음을 극복한다.
• 제어 흐름과 모듈성 같은 프로그램 유형의 인덕티브 편향이 신경 시스템에서 일반화 능력과 해석 가능성에 어떻게 기여하는지 탐구한다.
• 소스 코드와 신경 컴포넌트의 엔드 투 엔드 가분 훈련이 전이 가능한 지식을 갖춘 효과적인 지속적 학습을 가능하게 하는지 입증한다.

제안 방법

• 프레임워크는 소스 코드에 신경망 함수 호출이 포함된 실행 가능한 소스 코드를 실행하는 가분 인터프리터를 제어자로 사용하여 코드와 신경 파rameter의 공동 최적화를 가능하게 한다.
• 신경 컴포넌트는 역전파를 통해 엔드 투 엔드로 훈련되며, 기울기가 인터프리터를 통해 프로그램 논리와 신경 가중치를 모두 업데이트하도록 흐른다.
• 새로운 작업이 해결될수록 공유 라이브러리의 신경 기능이 동적으로 확장되고 개선되어 작업 간 지식 전이가 가능해진다.
• 인터프리터가 신경 컴포넌트를 선택적으로 호출하거나 무시할 수 있도록 하여 모듈성을 강제함으로써 간섭을 방지하고 지속적 학습을 지원한다.
• 이전 작업이 다시 나타나지 않는 지속적 학습 환경에서 작동하며, 공유 컴포넌트 업데이트 덕분에 시간이 지남에 따라 성능 향상이 이루어진다.
• 소스 코드의 구조를 인덕티브 편향으로 활용하여, 입력 길이에 관계없이 일반화 가능한 루프와 같은 일반화 가능한 솔루션을 선호한다.

실험 결과

연구 질문

• RQ1 가분 프로그래밍과 신경망을 결합한 하이브리드 모델이 순수 신경 기반 모델보다 시각적 프로그래밍 작업에서 더 나은 일반화 능력과 지속적 학습 능력을 보일 수 있는가?
• RQ2 프로그램 구조의 모듈성이 지속적 학습에서 지식 전이 능력과 치명적인 잊음에 대한 저항력에 어떻게 영향을 주는가?
• RQ3 공유된 신경 컴포넌트 업데이트 덕분에, 더 이상 직접 훈련하지 않는 이전에 학습한 작업의 성능이 얼마나 향상될 수 있는가?
• RQ4 소스 코드를 표현 방식으로 사용할 경우, 강력한 일반화 성질을 갖춘 솔루션을 선호하는 인덕티브 편향이 부여되는가?
• RQ5 약한 감독(입력-출력 예제)만을 사용하여, 해석 가능하고 재사용 가능한 알고리즘을 시각적 컴포넌트와 함께 작성할 수 있는가?

주요 결과

• 이전 작업이 다시 직접 훈련되지 않은 후에도 성능 향상이 지속적으로 이루어져, 효과적인 지속적 학습과 치명적인 잊음의 회피를 입증했다.
• 새로운 작업을 학습함에 따라 이전 작업의 성능 향상이 공유된 신경 기능 라이브러리 업데이트 덕분에 이루어져 효과적인 지식 전이를 보였다.
• 소스 코드의 모듈러한 구조 덕분에 신경 컴포넌트를 선택적으로 사용할 수 있었으며, 이는 관련이 없는 컴포넌트를 격리함으로써 잊음에 대한 저항력 향상에 기여했을 가능성이 있다.
• 하이브리드 모델은 전이 학습과 일반화 능력에서 순수 신경 기반 기준을 능가했으며, 특히 이미지나 텍스트와 같은 시각적 입력에 대한 추론이 필요한 작업에서 두드러진 성능을 보였다.
• 소스 코드 표현 방식은 해석 가능하고 인간이 검증할 수 있는 솔루션을 가능하게 하여 도메인 지식 통합과 피드백 루프를 지원했다.
• 프레임워크는 짧은 예제로 훈련된 경우에도 임의의 리스트 길이에 일반화 가능한 루프를 포함한 강력한 일반화 능력을 갖춘 프로그램을 성공적으로 유도했다.