[논문 리뷰] Giving Up Control: Neurons as Reinforcement Learning Agents

Jordan Ott|arXiv (Cornell University)|2020. 03. 17.

Reinforcement Learning in Robotics참고 문헌 30인용 수 4

한 줄 요약

이 논문은 개별 뉴런을 자기 이익을 극대화하는 독립적인 강화학습 에이전트로 모델링하여 네트워크 내에서 경쟁과 협력하는 방식을 제안한다. 임의의 과제 성능, 희소성, 활동 흔적과 같은 생물학적으로 유사한 보상 신호를 도입함으로써, CartPole과 같은 고수준 과제에서 안정적이고 확장 가능한 학습을 달성하며, 순수 과제 보상 학습에 비해 특히 더 깊은 아키텍처에서 뛰어난 성능을 발휘한다.

ABSTRACT

Artificial Intelligence has historically relied on planning, heuristics, and handcrafted approaches designed by experts. All the while claiming to pursue the creation of Intelligence. This approach fails to acknowledge that intelligence emerges from the dynamics within a complex system. Neurons in the brain are governed by local rules, where no single neuron, or group of neurons, coordinates or controls the others. This local structure gives rise to the appropriate dynamics in which intelligence can emerge. Populations of neurons must compete with their neighbors for resources, inhibition, and activity representation. At the same time, they must cooperate, so the population and organism can perform high-level functions. To this end, we introduce modeling neurons as reinforcement learning agents. Where each neuron may be viewed as an independent actor, trying to maximize its own self-interest. By framing learning in this way, we open the door to an entirely new approach to building intelligent systems.

연구 동기 및 목표

• 인공지능에서 상향식, 행동 수준의 비용 함수 최적화의 한계를 극복하기 위해, 국소적 뉴런 역학을 통한 하향식, 탄생하는 지능으로의 초점을 이동시키는 것.
• 깊은 강화학습에서의 확장성과 안정성 문제를 해결하기 위해 뉴런 수준에서 생물학적으로 타당한 보상 메커니즘을 통합하는 것.
• 자기 결정적인 강화학습 에이전트로 행동하는 뉴런들이 상호 보완적 경쟁과 협력을 통해 고수준 과제를 공동으로 해결할 수 있음을 보여주는 것.
• 희소성과 활동 흔적과 같은 국소적, 뉴런 특화 보상이 네트워크 동역학을 향상시키고 더 깊은 네트워크의 학습을 가능하게 할 수 있는지 탐색하는 것.
• 외부적으로 정의된 보상 함수를 넘어서, 더 생물학적으로 타당한 학습을 위해 내부적이고 에이전트 국소화된 보상 생성 방식을 탐구하는 것.

제안 방법

• 각 뉴런은 정책 그래디언트 방법을 사용하여 자신의 이익을 극대화하기 위해 독립적인 강화학습 에이전트로 모델링된다.
• 네트워크는 뉴런들이 활동 표현과 자원을 놓고 경쟁하면서도 고수준 과제 목표를 달성하기 위해 협력하는 다에이전트 프레임워크를 사용한다.
• 보상 신호는 세 가지 구성 요소로 구성된다: 과제 수준의 보상(예: CartPole 점수), 희소성 보상(과도하거나 과소 활동에 대한 벌점), 활동 흔적(균형 잡힌 발화 패tern을 장려하는 데 초점).
• 활동 흔적 보상은 항상 활성화되거나 비활성화된 뉴런을 벌주며, 인구 코드의 다양성을 증진하고 포화 상태를 방지한다.
• 학습은 OpenAI Gym의 CartPole 환경을 사용하여 1, 2, 5층의 네트워크로 수행되며, 확률적 정책 최적화가 사용된다.
• 보상 체계는 조합하여 테스트된다: 과제 전용, 생물학적으로 유사한 보상 전용, 그리고 두 가지의 하이브리드로, 학습 효율성과 확장성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 자기 결정적인 강화학습 에이전트로 모델링된 뉴런 네트워크가 중앙 집중식 감독 없이도 CartPole과 같은 고수준 제어 과제를 학습할 수 있는가?
• RQ2 희소성과 활동 흔적과 같은 생물학적으로 영감을 받은 보상이 더 깊은 네트워크에서 학습의 안정성과 성능을 향상시키는가?
• RQ3 과제 수준의 보상에만 의존하는 경우와 국소적, 생물학적으로 기반을 둔 보상이 통합된 경우를 비교했을 때, 다에이전트 뉴런 네트워크의 성능는 어떻게 다른가?
• RQ4 자기 이익을 위해 학습하는 뉴런들이 고수준 과제 성능을 달성하기 위해 필요한 상호 협력을 여전히 달성할 수 있는가?
• RQ5 내부적이고 뉴런 국소화된 보상 메커니즘이 외부적으로 정의된 보상 함수에 대한 의존도를 어느 정도 감소시키는가?

주요 결과

• 과제 수준의 보상만을 사용한 네트워크는 두 층을 초월해 효과적으로 확장되지 못했으며, 더 깊은 아키텍처에서는 목표 성능에 도달하기 위해 20,000회 이상의 에피소드가 필요했다.
• 생물학적으로 유사한 보상인 희소성과 활동 흔적을 포함함으로써 다섯 층의 네트워크 학습이 성공적으로 수행되었으며, 과제 보상과 조합했을 때 평균 학습 시간이 4,419회로 감소했다.
• 하이브리드 보상 체계(생물학적 + 과제)가 가장 뛰어난 성능을 보였으며, 다섯 층 네트워크에서 100회 에피소드 평균 점수가 300에 도달하는 데 평균 4,419회가 소요되었다.
• 활동 흔적 보상은 균형 잡힌 발화 패턴을 성공적으로 강제하여 뉴런이 영구적으로 활성화되거나 침묵하는 것을 방지했으며, 인구 수준의 코드 다양성을 증진시켰다.
• 결과적으로 생물학적으로 영감을 받은 보상이 더 깊고 복잡한 네트워크에서 학습 동역학을 안정화시키는 데 필수적임을 입증했다.
• 이 프레임워크는 다에이전트 뉴런 수준의 강화학습에 대해 실현 가능함을 입증했으며, 자기 이익을 추구하는 에이전트들이 내재된 보상 구조를 통해 공동 지능을 달성할 수 있음을 보여주었다.