[논문 리뷰] Cooperation Is All You Need

Ahsan Adeel, Junaid Muzaffar외 6명|arXiv (Cornell University)|2023. 05. 16.

Neural dynamics and brain functionNeuroscience인용 수 3

한 줄 요약

이 논문은 대뇌皮질의 맥락 민감성 두점 피라미드 뉴런을 영감으로 삼아 개발한 협업형 신경망 Cooperator를 소개한다. Cooperator는 순서에 무관한 강화학습 과제에서 트랜스포머 기반 모델을 능가하며, 동일한 파라미터 수를 가짐에도 불구하고 더 빠른 학습 속도와 높은 적합도 점수를 기록한다. Cooperator는 맥락 피드백을 사용해 관련성이 없는 피드포워드 신호를 억제함으로써 더 효율적이고 내성적인 정보 처리를 가능하게 한다.

ABSTRACT

Going beyond 'dendritic democracy', we introduce a 'democracy of local processors', termed Cooperator. Here we compare their capabilities when used in permutation invariant neural networks for reinforcement learning (RL), with machine learning algorithms based on Transformers, such as ChatGPT. Transformers are based on the long standing conception of integrate-and-fire 'point' neurons, whereas Cooperator is inspired by recent neurobiological breakthroughs suggesting that the cellular foundations of mental life depend on context-sensitive pyramidal neurons in the neocortex which have two functionally distinct points. Weshow that when used for RL, an algorithm based on Cooperator learns far quicker than that based on Transformer, even while having the same number of parameters.

연구 동기 및 목표

• 딥러닝에서 점 뉴런 기반 모델의 비효율성, 즉 관련성이 없음에도 모든 입력을 전송하는 문제를 해결하기 위해.
• 두점 피라미드 뉴런에서 영감을 받은 맥락 민감성 신경 처리가 강화학습에서 표준 어텐션 메커니즘을 능가할 수 있는지 조사하기 위해.
• 지역적 프로세서 간 협업이 맥락 피드백에 의해 이끌릴 경우, 순서에 무관한 RL 에이전트의 학습 속도와 안정성이 향상되는지 보여주기 위해.
• 딥 네트워크에서 ' dendritic democracy'의 지배를 도전하기 위해, 원자료 통합보다 맥락 일치를 우선시하는 '지역 프로세서의 민주주의'(DoLP)를 제안하기 위해.

제안 방법

• Cooperator는 기저 수상돌기( basal dendrites)가 피드포워드 입력을 수신하고, 수상돌기( apical dendrites)가 인접 뉴런으로부터 맥락 신호를 통합하는 두점 뉴런 모델을 구현한다.
• 맥락 민감성 프로세서는 이웃 뉴런들의 평균 의견을 나타내는 맥락 통합 영역(C)을 계산하며, 이는 피드포워드 신호의 전송을 조절한다.
• 뉴런의 인식이 이웃 뉴런의 다수와 일치할 경우 전송 확률이 증폭되어 충돌하거나 관련성이 없는 입력이 억제된다.
• 단일 층의 이러한 맥락 민감성 뉴런과 간단한 정책 네트워크를 사용하며, 기준 트랜스포머와 동일한 파라미터 수를 유지한다.
• 스파iking 시뮬레이션에서 파동 의존성 시냅스 플라스티시티를 활용하여 학습 효율성과 내성성을 향상시킨다.
• 입력 순서에 의존하지 않는 어텐션 유사 메커니즘을 사용함으로써 순서에 무관성을 유지하면서 맥락 협업을 활용한다.

실험 결과

연구 질문

• RQ1 동일한 파라미터 수를 가짐에도 불구하고, 협업형 맥락 민감성 신경 아키텍처인 Cooperator가 표준 트랜스포머를 강화학습에서 능가할 수 있는가?
• RQ2 두점 뉴런에서의 맥락 민감성 처리가 기존의 통합-화염 점 뉴런보다 학습 속도를 향상시키고 노이즈를 줄이는 데 어떤 영향을 미치는가?
• RQ3 지역 프로세서 간 맥락 일치가 깊이 있는 네트워크에서 정보 전송 효율성을 향상시키고 에너지 소비를 줄이는 데 얼마나 기여하는가?
• RQ4 제안된 DoLP 메커니즘—즉, 뉴런이 관련 없는 신호를 억제하기 위해 협업하는 방식—이 RL 학습에서 더 빠른 수렴과 낮은 분산을 이끌어내는가?

주요 결과

• CartPole 환경에서 Cooperator는 10,000 에피소드 후 538 ± 419의 적합도 점수를 기록했으며, 트랜스포머의 340 ± 310보다 유의미하게 높았다.
• 섞인 입력에 대해서는 Cooperator가 5,000 에피소드 후 508 ± 408을 기록했고, 트랜스포머는 350 이하에 머물러 순서 변화에 대한 뛰어난 내성성을 입증했다.
• PyBullet Ant 과제에서 Cooperator는 1,000 에피소드 후 1,170 ± 35의 적합도 점수를 기록했으며, 트랜스포머의 121 ± 53과 비교해 극명한 성능 격차를 보였다.
• 입력 순서가 무작위로 변경된 상황에서도 Cooperator는 학습 분산을 줄이고 더 빠르게 높은 적합도 점수를 달성했다.
• 섞인 입력과 섞이지 않은 입력 상황에서 모두 안정적이고 일관된 성능을 보여, 강력한 일반화 능력과 내성성을 입증했다.
• 결과는 맥락 민감성 협업 처리가 신경 활동과 에너지 소비를 줄이며 학습 효율성과 내성성을 향상시킨다는 가설을 지지한다.