[논문 리뷰] Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning

Duzhen Zhang, Tielin Zhang외 3명|arXiv (Cornell University)|2021. 06. 15.

Advanced Memory and Neural Computing참고 문헌 49인용 수 7

한 줄 요약

이 논문은 강화학습에서 시공간 상태 표현을 향상시키기 위해 네트워크 수준에서의 인구 코드화와 뉴런 수준에서의 2차 막전위 동역학을 갖는 동적 뉴런(DNs)을 통합한 다중 척도 동적 코드화 스파iking 액터 네트워크(MDC-SAN)를 제안한다. MDC-SAN은 OpenAI Gym의 네 가지 연속 제어 과제에서 딥 뉴럴 네트워크 기반 대비자보다 뛰어난 성능을 보이며, 생물학적으로 유사한 코드화 메커니즘을 통해 우수한 의사결정 성능을 입증한다.

ABSTRACT

With the Deep Neural Networks (DNNs) as a powerful function approximator, Deep Reinforcement Learning (DRL) has been excellently demonstrated on robotic control tasks. Compared to DNNs with vanilla artificial neurons, the biologically plausible Spiking Neural Network (SNN) contains a diverse population of spiking neurons, making it naturally powerful on state representation with spatial and temporal information. Based on a hybrid learning framework, where a spike actor-network infers actions from states and a deep critic network evaluates the actor, we propose a Population-coding and Dynamic-neurons improved Spiking Actor Network (PDSAN) for efficient state representation from two different scales: input coding and neuronal coding. For input coding, we apply population coding with dynamically receptive fields to directly encode each input state component. For neuronal coding, we propose different types of dynamic-neurons (containing 1st-order and 2nd-order neuronal dynamics) to describe much more complex neuronal dynamics. Finally, the PDSAN is trained in conjunction with deep critic networks using the Twin Delayed Deep Deterministic policy gradient algorithm (TD3-PDSAN). Extensive experimental results show that our TD3-PDSAN model achieves better performance than state-of-the-art models on four OpenAI gym benchmark tasks. It is an important attempt to improve RL with SNN towards the effective computation satisfying biological plausibility.

연구 동기 및 목표

• 효율적인 시공간 코드화를 위해 뇌의 세포 어셈블리 메커니즘을 모방함으로써 강화학습을 위한 스파이킹 신경망(SNNs)을 향상시키기.
• 기존 DNN 기반 액터의 복잡한 상태 공간 표현 능력의 한계를 보완하고자 네트워크 및 뉴런 척도에서 생물학적으로 타당한 코드화를 도입하기.
• 동일한 학습 설정에서 딥 액터 네트워크(DANs)보다 더 나은 의사결정 성능을 달성하는 스파이킹 액터 네트워크를 개발하기.
• 표준 연속 제어 벤치마크에서 다중 척도 동적 코드화—인구 코드화와 동적 뉴런—의 효과성을 검증하기.

제안 방법

• 네트워크 척도에서 인구 코드화를 적용하여, 각 입력 상태 차원이 학습 가능한 수용장역을 갖는 뉴런 집단에 의해 표현되도록 하여 표현 능력을 향상시킨다.
• 2차 막전위 동역학을 갖는 새로운 동적 뉴런(DNs)을 도입하며, 임계값, 초기화 잠근 전위, 암묵적 저항 변수 U와 같은 핵심 매개변수로 제어된다.
• 행동 추론을 위해 스파이크 수의 시간 창 평균을 비율 코드화 출력으로 사용하여 TD3와 같은 연속 제어 알고리즘과의 호환성을 확보한다.
• 딥 크리틱 네트워크와 함께 Twin Delayed Deep Deterministic Policy Gradient(TD3) 알고리즘을 사용하여 MDC-SAN을 학습시킨다.
• 한 과제(예: Ant-v3)에서 DNs의 동적 매개변수를 학습하고, 유사한 과제들(예: HalfCheetah-v3, Walker2d-v3, Hopper-v3)으로 전이하여 일반화 능력을 평가한다.
• 모든 입력 코드화 전략(예: 포isson, 결정론적, 인구 기반) 간의 성능을 비교하여 인구 코드화의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 네트워크 척도에서의 인구 코드화와 뉴런 척도에서의 동적 뉴런 코드화를 조합한 다중 척도 동적 코드화가 연속 제어 과제에서 스파이킹 액터 네트워크의 성능을 향상시킬 수 있는가?
• RQ2 2차 막전위 동역학을 갖는 동적 뉴런을 사용할 경우, SNN 기반 강화학습에서 표준 LIF 뉴런보다 성능이 향상되는가?
• RQ3 입력 표현 능력과 후속 의사결정 성능 측면에서 인구 코드화는 비율 코드화보다 어떻게 비교되는가?
• RQ4 한 과제에서 학습한 동적 매개변수는 SNN에서 유사한 제어 과제로 얼마나 잘 일반화되는가?
• RQ5 제안된 MDC-SAN은 동일한 실험 설정에서 딥 뉴럴 네트워크 기반 대비자(DAN)를 능가할 수 있는가?

주요 결과

• MDC-SAN은 OpenAI Gym의 네 가지 연속 제어 과제인 Ant-v3, HalfCheetah-v3, Walker2d-v3, Hopper-v3에서 모두 깊이 있는 액터 네트워크(DAN) 대비 유의미하게 뛰어난 성능을 보였다.
• 인구 코드화(C_pop)만으로도 모든 입력 코드화 방법 중에서 가장 높은 성능를 기록했으며, 비율 코드화 및 하이브리드 코드화 전략을 모두 능가했다.
• 2차 동역학을 갖는 동적 뉴런(DNs)은 네 과제 전반에서 표준 LIF 뉴런보다 일관되게 뛰어난 성능를 보이며, 향상된 시간 정보 처리 능력을 입증했다.
• LIF 뉴런이 예측 가능하게 작동하는 반면, DNs는 약한 자극에서는 희박하게, 강한 자극에는 강하고 비선형적인 반응을 보이며 더 복잡하고 적응적인 반응 패턴을 보였다.
• Ant-v3에서 학습한 동적 매개변수는 다른 유사한 과제로 효과적으로 일반화되었으며, 환경 간에 DNs의 높은 전이 가능성과 강건성을 입증했다.
• 인구 코드화와 DNs의 통합은 더 강력한 시공간 상태 표현을 가능하게 하여 더 높은 누적 보상과 향상된 정책 학습을 이끌었다.