[논문 리뷰] Meta-Reinforcement Learning with Self-Modifying Networks

Mathieu Chalvidal, T. Serre외 1명|arXiv (Cornell University)|2022. 02. 04.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 신경망이 내부 시냅스 상태와 외부 보상 신호에 조건화된 자기참조적 업데이트 규칙을 사용하여 실시간으로 시냅스 가중치를 자가수정할 수 있는 메타강화학습 프레임워크인 MetODS를 제안한다. 이 모델은 단일의 경량 레이어로 하나의 학습에서의 학습, 예측되지 않은 환경으로의 일반화, 그리고 지속적인 운동 제어를 달성하며, 기울기 기반 가중치 업데이트 없이도 빠르고 동적인 가소성이 강력하고 적응적인 강화학습을 지원할 수 있음을 보여준다.

ABSTRACT

Deep Reinforcement Learning has demonstrated the potential of neural networks tuned with gradient descent for solving complex tasks in well-delimited environments. However, these neural systems are slow learners producing specialized agents with no mechanism to continue learning beyond their training curriculum. On the contrary, biological synaptic plasticity is persistent and manifold, and has been hypothesized to play a key role in executive functions such as working memory and cognitive flexibility, potentially supporting more efficient and generic learning abilities. Inspired by this, we propose to build networks with dynamic weights, able to continually perform self-reflexive modification as a function of their current synaptic state and action-reward feedback, rather than a fixed network configuration. The resulting model, MetODS (for Meta-Optimized Dynamical Synapses) is a broadly applicable meta-reinforcement learning system able to learn efficient and powerful control rules in the agent policy space. A single layer with dynamic synapses can perform one-shot learning, generalizes navigation principles to unseen environments and manifests a strong ability to learn adaptive motor policies.

연구 동기 및 목표

• 고정된 훈련 커리큘럼을 초월하여 지속적이고 적응적인 학습이 가능한 메타강화학습 시스템을 개발하기 위해.
• 자기참조적 시냅스 가중치 업데이트가 빠른 작업 특화 및 인지적 탄력성에 기여할 수 있는지 조사하기 위해.
• 빠른 시냅스 가소성이 인공 에이전트에서 효율적이고 일반적인 목적의 강화학습을 가능하게 하는 데서 수행하는 역할을 탐색하기 위해.
• 예측되지 않은 환경과 운동 장애 상황에서 모델의 강건성과 일반화 능력을 평가하기 위해.

제안 방법

• 모델는 현재 시냅스 상태와 행동-보상 피드백에 따라 시냅스 변화가 결정되는 자기참조적 가중치 업데이트 규칙을 사용한다.
• 동적인 시냅스는 내부 상태와 보상 이력에 기반한 피드백 제어 메커니즘을 통해 실시간으로 업데이트된다.
• 이 접근법은 시간에 따라 역전파를 피하는 정책 공간 내의 모델 자유형 확률적 피드백 제어로 공식화된다.
• 단일 레이어로 구성된 가벼운 파rametrization을 통해 일회성 학습 및 지속적인 운동 제어와 같은 다양한 인지 기능을 실행한다.
• 모델는 에피소드 동안 메타보상을 최적화하기 위해 엔드 투 엔드로 훈련되어 새로운 작업에 빠르게 적응할 수 있도록 한다.
• 시냅스 역학은 생물학적 빠른 가소성에서 영감을 얻어, 재학습 없이도 네트워크 기능을 신속하게 재구성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자기참조적 시냅스 업데이트를 갖춘 신경망이 일회성 학습과 예측되지 않은 환경으로의 일반화를 달성할 수 있는가?
• RQ2 적응성과 샘플 효율성 측면에서 동적인 시냅스 가소성은 표준 기울기 기반 훈련보다 어떻게 비교되는가?
• RQ3 자기수정 네트워크는 운동 장애 상황에서도 성능을 유지할 수 있는가, 이는 강건성을 시사하는가?
• RQ4 동적 가중치를 갖춘 단일 레이어 네트워크가 얼마나 복잡한 제어 정책을 실행할 수 있는가?
• RQ5 빠른 시냅스 가소성이 기울기 하강법의 타당한 대안이 될 수 있는가, 적응형 강화학습 에이전트를 훈련하기 위해?

주요 결과

• MetODS는 MetaWorld 벤치마크에서 기준 방법보다 뛰어난 메타테스트 성공률을 기록했으며, 단지 10M 훈련 스텝만으로도 성과를 내었다.
• 모델는 일회성 학습 능력을 보였으며, 예측되지 않은 환경으로의 탐색 원칙을 일반화했다.
• 지속적인 이동 작업에서, 메터리얼의 운동 능력이 손상된 상황에서도 원래 성능의 높은 비율을 유지하여 강건성을 시사했다.
• 훈련 초반 단계에서 기준 방법보다 뛰어난 성능을 보여, 더 빠른 수렴과 더 나은 샘플 효율성을 시사했다.
• 다양한 작업, 즉 밀기, 목표 향해 이동, ML-10 환경 등에 걸쳐 강력한 일반화 능력을 보였으며, 일부 경우 ML-10에서 성능이 다소 낮게 나타났다.
• 결과는 자기참조적 시냅스 가소성이 자율적이고 적응형 강화학습 프로그램의 기초가 될 수 있다는 가설을 지지한다.