[논문 리뷰] Gigamachine: incremental machine learning on desktop computers

Eray Özkural|arXiv (Cornell University)|2017. 09. 08.

Numerical Methods and Algorithms인용 수 2

한 줄 요약

이 논문은 R5RS 슈미트를 보편적 참조 기계로 사용하고, 레빈 검색을 안내하기 위해 확률적 문맥 자유 문법(SCFG)을 사용하여 桌상 컴퓨터에서 증분 기계 학습을 위한 프로토타입인 Gigamachine을 제시한다. 생산 확률 조정, 해답 재사용, 프로그래밍 일관성 발견을 통해 학습 효율을 향상시키기 위한 네 가지 업데이트 알고리즘(두 가지가 실제로 구현됨)을 도입하였으며, 실험 결과 장난감 문제에서 검색 시간과 오류율이 감소함을 확인하였다.

ABSTRACT

We present a concrete design for Solomonoff's incremental machine learning system suitable for desktop computers. We use R5RS Scheme and its standard library with a few omissions as the reference machine. We introduce a Levin Search variant based on a stochastic Context Free Grammar together with new update algorithms that use the same grammar as a guiding probability distribution for incremental machine learning. The updates include adjusting production probabilities, re-using previous solutions, learning programming idioms and discovery of frequent subprograms. The issues of extending the a priori probability distribution and bootstrapping are discussed. We have implemented a good portion of the proposed algorithms. Experiments with toy problems show that the update algorithms work as expected.

연구 동기 및 목표

• 솔로몬오프의 증분 기계 학습 프레임워크를 실용적이고 데스크톱 호환 가능한 시스템으로 설계하기 위해.
• 일반 프로그래밍 환경에서 효율적인 프로그램 생성과 학습을 해결하기 위해.
• 이전에 발견된 해답을 재사용하고 공통 서브프로그램을 발견함으로써 학습 시퀀스에서 학습할 수 있도록 하는 업데이트 알고리즘을 개발하기 위해.
• 고수준 언어인 슈미트를 사용하여 일반 하드웨어에서 AGI 유사 학습을 구현할 수 있는지의 타당성을 평가하기 위해.

제안 방법

• 최소한의 문법 생략을 통해 문법 기반 프로그램 생성을 단순화하기 위해 R5RS 슈미트를 참조 보편 기계로 사용한다.
• 레빈 검색을 안내하기 위해 확률적 문맥 자유 문법(SCFG)을 활용하여 프로그램 후보에 사전 확률을 할당한다.
• 깊이 우선 탐색의 깊이를 제한하기 위해 확률 수평을 갖춘 왼쪽에서 가장 먼저 유도하는 방식을 적용하여 효율성을 향상시킨다.
• 생산 확률 조정, 해답 재사용, 일관성 발견, 빈번한 서브프로그램 탐지의 네 가지 업데이트 알고리즘을 도입한다.
• 검색 성능을 최적화하기 위해 최선 우선 및 메모리 인지 하이브리드 검색 전략을 적용한다.
• 각 문제 해결 후 증분 업데이트를 포함하는 SCFG 기반 검색을 통합한 수정된 LSEARCH 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 확률적 CFG가 슈미트와 같은 일반 프로그래밍 언어에서 증분 프로그램 검색을 효과적으로 안내할 수 있는가?
• RQ2 생산 확률을 어떻게 업데이트하여 시간이 지남에 따라 학습 효율을 향상시킬 수 있는가?
• RQ3 이전에 발견된 해답을 얼마나 많이 재사용하여 새로운 문제의 학습을 가속화할 수 있는가?
• RQ4 명시적인 지정 없이도 공통 프로그래밍 일관성과 서브루틴을 시스템이 발견할 수 있는가?
• RQ5 학습 시퀀스가 점점 더 복잡해질수록 시스템의 성능은 어떻게 스케일링되는가?

주요 결과

• 구현된 업데이트 알고리즘이 증분 문제 전반에서 검색 시간과 오류율을 감소시켰으며, 반복 과정에서 오류율이 97%에서 88%로 감소함을 확인하였다.
• 이전에 학습된 해답을 재사용한 후 제곱 함수의 해답이 단 210회 시도 만에 발견되었으며, 이는 초도 검색 대비 약 100배의 속도 향상을 보였다.
• NAND 함수는 8,413,333회 시도가 필요했지만, 이후 NOR 함수는 단 4,275,820회 시도로 끝나, 학습 덕분에 약 30배의 속도 향상을 보였다.
• factorial 함수는 다섯 번째 예제에 도달하는 데 하루 이상이 걸렸지만, 부분 해답을 생성하여 시스템이 복잡한 재귀 패턴을 학습할 수 있음을 보여주었다.
• 후속 문제에서 성능 향상이 관찰되어, 문법 업데이트를 통한 효과적인 학습과 적응이 이루어졌음을 시사하였다.
• 이전 해답을 재사용함으로써 학습이 크게 가속화되었으며, pow4 함수는 sqr 해답을 활용하여 sqr 자체보다 더 빠르게 해결되었다.