[논문 리뷰] One Big Net For Everything

Juergen Schmidhuber|arXiv (Cornell University)|2018. 02. 24.

Computability, Logic, AI Algorithms참고 문헌 57인용 수 7

한 줄 요약

이 논문은 강화학습과 기울기 기반 지도/비지도 학습을 융합하여 점진적으로 다양한 제어 및 예측 기술을 학습하는 단일 순환신경망 ONE을 제안한다. 과거 경험을 압축하고 공유된 서브루틴을 재사용함으로써 ONE은 치명적인 잊음( catastrophic forgetting)을 피하고 점점 더 일반화되며, 효율적인 가중치 업데이트와 PowerPlay 스타일의 작업 순서를 통해 알고리즘적으로 관련된 새로운 작업을 빠르게 학습할 수 있다.

ABSTRACT

I apply recent work on "learning to think" (2015) and on PowerPlay (2011) to the incremental training of an increasingly general problem solver, continually learning to solve new tasks without forgetting previous skills. The problem solver is a single recurrent neural network (or similar general purpose computer) called ONE. ONE is unusual in the sense that it is trained in various ways, e.g., by black box optimization / reinforcement learning / artificial evolution as well as supervised / unsupervised learning. For example, ONE may learn through neuroevolution to control a robot through environment-changing actions, and learn through unsupervised gradient descent to predict future inputs and vector-valued reward signals as suggested in 1990. User-given tasks can be defined through extra goal-defining input patterns, also proposed in 1990. Suppose ONE has already learned many skills. Now a copy of ONE can be re-trained to learn a new skill, e.g., through neuroevolution without a teacher. Here it may profit from re-using previously learned subroutines, but it may also forget previous skills. Then ONE is retrained in PowerPlay style (2011) on stored input/output traces of (a) ONE's copy executing the new skill and (b) previous instances of ONE whose skills are still considered worth memorizing. Simultaneously, ONE is retrained on old traces (even those of unsuccessful trials) to become a better predictor, without additional expensive interaction with the enviroment. More and more control and prediction skills are thus collapsed into ONE, like in the chunker-automatizer system of the neural history compressor (1991). This forces ONE to relate partially analogous skills (with shared algorithmic information) to each other, creating common subroutines in form of shared subnetworks of ONE, to greatly speed up subsequent learning of additional, novel but algorithmically related skills.

연구 동기 및 목표

• 치명적인 잊음을 일으키지 않고 다양한 작업 간에 지속적인 학습이 가능한 단일 일반 목적 신경망(ONE)을 개발하는 것.
• 강화학습을 기울기 기반 지도 및 비지도 학습과 융합하여 ONE을 새로운 기술에 효율적으로 훈련시키는 것.
• 작업 간 공통적인 알고리즘적 구조를 식별함으로써 이전에 학습한 서브루틴을 재사용할 수 있도록 하는 것.
• 계산 비용을 최소화하고 학습 속도를 최적화하기 위해 PowerPlay 프레임워크를 활용해 작업을 자동으로 순서 정리하는 것.
• 역사적 경험 데이터를 모두 유지하여 지속적인 압축과 일반화를 수행하고 데이터를 기각하지 않는 것.

제안 방법

• ONE은 여러 학습 철학을 통해 훈련된다: 강화학습(예: 신경진화), 지도 학습, 그리고 예측을 위한 비지도 기울기 경사하강법.
• 사용자가 정의한 목표 벡터를 사용하여 작업을 지정함으로써, 네트워크가 입력 조건에 따라 동작을 학습할 수 있도록 한다.
• PowerPlay 스타일의 훈련은 과거 시험에서 저장된 입력/출력 트레이스(실패한 경우 포함)를 다시 ONE에 훈련시켜 예측 능력과 일반화 능력을 향상시킨다.
• 부분적으로 유사한 기술 간의 관계를 통해 공유된 서브넷워크를 형성함으로써, 유사한 새로운 기술을 더 빠르게 학습할 수 있도록 한다.
• 중요한 가중치의 안정성을 확보하고 잊음을 줄이기 위해 가중치 분산 추적과 작업별 가중치 사용 로깅을 히وري스틱으로 사용한다.
• 컴 pact, 빠르게 검증 가능한 새로운 기술을 우선순위로 정렬하는 탐욕적 탐색을 통해 작업 순서를 자동으로 정한다.

실험 결과

연구 질문

• RQ1 단일 순환신경망이 치명적인 잊음을 일으키지 않고 과거의 다양한 제어 및 예측 기술을 점진적으로 학습하고 유지할 수 있는가?
• RQ2 강화학습과 기울기 기반 학습을 어떻게 융합하여 일반 문제 해결자를 효율적으로 훈련시킬 수 있는가?
• RQ3 유사한 기술들이 한 네트워크에 함께 압축될 때 공유된 서브루틴이 자연스럽게 발생할 수 있는가?
• RQ4 역사적 경험 데이터를 기각하지 않고 효율적인 지속적 학습을 가능하게 하는 메커니즘은 무엇인가?
• RQ5 계산 복잡도 기반 자동 작업 순서 정렬이 관련된 새로운 기술의 학습 속도를 향상시킬 수 있는가?

주요 결과

• ONE은 신경진화에서 유래한 실패한 시도 포함 과거 시험에서의 제어 및 예측 기술을 기각하지 않고 점진적으로 흡수할 수 있다.
• 기울기 경사하강법을 통해 과거 행동을 압축함으로써 ONE은 내부 가중치 행렬을 단순화하고 이전에 학습한 기술의 핵심을 내재화한다.
• 부분적으로 유사한 기술들이 관련지어질 경우 공유된 서브루틴이 자연스럽게 발생하여 새로운 관련 기술의 학습 속도가 크게 향상된다.
• 가중치 분산과 작업별 가중치 사용 추적은 중요한 지식의 안정성을 확보하고 재훈련 중 잊음을 줄이는 데 기여한다.
• PowerPlay를 통한 자동 작업 순서 정렬은 새로운 기술을 계산 비용을 최소화하고 학습 속도를 최대화하는 방식으로 학습시킨다.
• 시스템은 단일 RNN이 과거 경험의 지속적이고 자원 효율적인 압축을 통해 일반 문제 해결자로 진화할 수 있음을 보여준다.