[논문 리뷰] Lifelong Perceptual Programming By Example

Alexander L. Gaunt, Marc Brockschmidt외 2명|arXiv (Cornell University)|2016. 11. 07.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 시각적 데이터(예: 이미지 및 텍스트 포함)를 포함한 입력-출력 예제로부터 프로그램을 학습하는 Lifelong Perceptual Programming By Example (LPPBE) 시스템을 제안한다. 다양한 기반 해석기(differentiable interpreters)를 태스크 간 공유 구성 요소로 확장함으로써 LPPBE는 지속적인 지식 전이를 가능하게 하여 시간이 지남에 따라 새로운 태스크와 이전에 학습한 태스크 양쪽에서 성능 향상을 이룬다.

ABSTRACT

We introduce and develop solutions for the problem of Lifelong Perceptual Programming By Example (LPPBE). The problem is to induce a series of programs that require understanding perceptual data like images or text. LPPBE systems learn from weak supervision (input-output examples) and incrementally construct a shared library of components that grows and improves as more tasks are solved. Methodologically, we extend differentiable interpreters to operate on perceptual data and to share components across tasks. Empirically we show that this leads to a lifelong learning system that transfers knowledge to new tasks more effectively than baselines, and the performance on earlier tasks continues to improve even as the system learns on new, different tasks.

연구 동기 및 목표

• 이미지 및 텍스트와 같은 시각적 입력을 사용한 약한 지도 학습을 통한 프로그램 학습 과제를 해결하기 위해.
• 새로운 태스크를 학습하면서 이전 태스크에서도 성능 향상을 이루는 지속적 학습을 가능하게 하기 위해.
• 다양한 태스크에서 성능 향상에 기여하는 진화하는 공유 구성 요소 라이브러리를 개발하기 위해.
• 시각적 데이터를 처리하고 태스크 간 구성 요소 공유를 지원하기 위해 기반 해석기를 확장하기 위해.

제안 방법

• 기반 해석기를 이미지 및 텍스트와 같은 시각적 입력을 처리할 수 있도록 확장한다.
• 태스크 간에 점진적으로 업데이트되는 재사용 가능한 구성 요소의 공유 라이브러리를 도입한다.
• 각 신규 태스크에 대해 입력-출력 예제를 통한 약한 지도 학습을 통해 시스템을 훈련시킨다.
• 기반 프로그래밍 기법을 적용하여 구성 요소와 태스크 전용 프로그램을 함께 최적화한다.
• 지식 전이를 촉진하기 위해 태스크 간 구성 요소 공유를 가능하게 한다.
• 새로운 태스크가 도입된 후에도 이전 태스크의 성능 향상이 이루어지는 지속적 학습을 지원한다.

실험 결과

연구 질문

• RQ1 지속적 학습 환경에서 입력-출력 예제만을 사용하여 시각적 데이터로부터 프로그램을 학습할 수 있는가?
• RQ2 태스크 간 공유 구성 요소는 새로운 태스크와 이전에 학습한 태스크 양쪽에서 얼마나 효과적으로 성능 향상을 이룰 수 있는가?
• RQ3 시각적 예제를 통한 지속적 학습은 시간이 지남에 따라 이전 태스크의 성능 향상에 기여하는가?
• RQ4 얼마나 깊이까지 구성 요소 공유가 시각적 프로그래밍에서 지식 전이를 향상시키는가?

주요 결과

• LPPBE 시스템은 이전에 해결한 태스크로부터 효과적인 지식 전이를 통해 새로운 태스크에서 성능 향상을 보였다.
• 시스템이 새로운 태스크 학습으로 이동한 후에도 이전 태스크의 성능 향상이 계속되었다.
• 공유 구성 요소 라이브러리는 다양한 시각적 프로그래밍 태스크 간 더 효율적인 학습과 더 나은 일반화를 가능하게 하였다.
• 시각적 데이터를 포함한 지속적 학습 시나리오에서 기준 방법보다 시스템이 뛰어난 성능을 보였다.