[논문 리뷰] Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks

Dongqi Han, Kenji Doya외 1명|arXiv (Cornell University)|2019. 01. 29.

Reinforcement Learning in Robotics참고 문헌 79인용 수 5

한 줄 요약

이 논문은 확률적 동역성을 갖춘 반복적 다중 시간스케일 액터-크리틱 프레임워크인 ReMASTER를 제안한다. 이는 강화학습 에이전트가 행동 계층과 조합적 기술을 자율적으로 자기조직화할 수 있도록 한다. 신경 동역성과 보상 할인 모두 다중 시간스케일을 활용함으로써, 에이전트는 추상적 보조 목표와 저수준 행동 원소를 개발하게 되며, 이는 새로운 작업에 대해 이전에 학습한 기술을 재조합할 때 더 빠른 재학습을 가능하게 한다.

ABSTRACT

Recurrent neural networks (RNNs) for reinforcement learning (RL) have shown distinct advantages, e.g., solving memory-dependent tasks and meta-learning. However, little effort has been spent on improving RNN architectures and on understanding the underlying neural mechanisms for performance gain. In this paper, we propose a novel, multiple-timescale, stochastic RNN for RL. Empirical results show that the network can autonomously learn to abstract sub-goals and can self-develop an action hierarchy using internal dynamics in a challenging continuous control task. Furthermore, we show that the self-developed compositionality of the network enhances faster re-learning when adapting to a new task that is a re-composition of previously learned sub-goals, than when starting from scratch. We also found that improved performance can be achieved when neural activities are subject to stochastic rather than deterministic dynamics.

연구 동기 및 목표

• 반복 신경망이 다중 시간스케일을 갖추고 있을 때, 사전 작업 분해 없이 강화학습에서 계층적 행동 구조를 자율적으로 개발할 수 있는지 조사하기.
• 다시 조합된 이전에 학습된 보조 목표를 새로운 작업에 적용할 때 자발적으로 개발된 조합성이 재학습 효율성을 어떻게 향상시키는지 검토하기.
• 강화학습에서 학습 성능 향상과 계층적 추상화를 향상시키는 데 있어 확률적 신경 동역성의 역할 탐색하기.
• 다중 시간스케일 보상 할인 기법이 한 프레임워크 내에서 장기적 계획 수립과 단기적 기술 실행을 지원하는지 평가하기.
• 내부 신경 동역성을 통한 계층적 제어가 새로 조합된 작업에 더 빠르게 적응할 수 있음을 보여주며, 처음부터 학습하는 것과 비교하여 성능 향상을 이룰 수 있는지 입증하기.

제안 방법

• 신경 활성화 동역성과 보상 할인 모두에 다중 시간스케일을 적용한 새로운 오프-폴리시 액터-크리틱 알고리즘인 ReMASTER를 제안한다.
• 모든 네트워크 레이어에 확률성을 도입하여 생물학적 신경 잡음을 모델링함으로써 탐색 능력과 내성적 안정성을 향상시킨다.
• 다른 시간스케일에 맞춰 별도의 할인 요소를 적용한다: 저수준 행동에는 빠른 할인, 고수준 보조 목표에는 느린 할인.
• 빠른 컨텍스트와 느린 컨텍스트 뉴런을 갖춘 계층적 RNN 아키텍처를 사용하여 세부 운동 기술과 추상적 행동 시퀀스를 모두 표현한다.
• 일반화 및 훈련 중 안정성 향상을 위해 확률적 샘플링을 적용한 경험 리PLAY를 사용한다.
• 보조 목표가 명시적으로 제공되지 않은 순차적 조합 제어 작업을 설계하여, 보조 목표는 순서대로 달성되어야 한다.

실험 결과

연구 질문

• RQ1 다중 시간스케일 RNN을 갖춘 강화학습 에이전트가 사전 작업 분해 없이 내부 행동 계층을 자율적으로 개발할 수 있는가?
• RQ2 작업이 새로운 목표 순서로 재조합될 때, 이전에 학습한 보조 목표의 자발적 조합성이 재학습 속도를 향상시키는가?
• RQ3 확률적 신경 동역성은 강화학습에서 계층적 제어의 기원과 성능 향상에 어떻게 기여하는가?
• RQ4 신경 동역성과 보상 할인 간의 시간스케일 일치가 계층적 기술 습득에 미치는 영향은 무엇인가?
• RQ5 이전에 학습한 보조 목표를 재조합하여 새로운 작업에 일반화할 수 있는가? 그리고 처음부터 학습하는 것과 비교해 볼 때 어떤가?

주요 결과

• ReMASTER 프레임워크는 에이전트가 행동 계층을 자율적으로 조직화하는 데 성공했으며, 느린 컨텍스트 뉴런은 추상적 보조 목표를 표현하고 빠른 컨텍스트 뉴런은 저수준 행동 원소를 인코딩했다.
• 이전에 학습한 보조 목표를 재조합하는 새로운 작업에 적응할 때, 처음부터 학습하는 것과 비교해 훨씬 더 빠른 재학습 성능를 보였다.
• 고수준 및 저수준 구성 요소 간 시간스케일을 서로 교환할 경우 성능 저하가 발생했으며, 이는 효과적인 계층 형성에 있어 적절한 시간스케일 정렬이 필수적임을 시사한다.
• 확률적 신경 동역성은 학습 성능 향상과 계층적 기술 개발의 내성적 안정성을 향상시켰으며, 결정론적 동역성보다 뛰어난 성능을 보였다.
• 자발적으로 개발된 조합성 덕분에 에이전트는 학습된 보조 목표를 재조합하여 새로운 작업 목표에 대해 제어 정책을 민첩하게 재구성할 수 있었다.
• 보조 목표가 명시적으로 관측되지 않는 순차적 조합 제어 작업에서 프레임워크는 뛰어난 성능을 달성했으며, 이는 작업 구조의 내부 표현을 가능하게 했다.