[논문 리뷰] Neural Circuit Architectural Priors for Embodied Control

Nikhil X. Bhattasali, Anthony M. Zador외 1명|arXiv (Cornell University)|2022. 01. 13.

Genetics, Aging, and Longevity in Model Organisms인용 수 4

한 줄 요약

이 논문은 *C. elegans*의 이동 회로에 영감을 받은 생물학적으로 유래한 인공 신경망 아키텍처인 신경 회로 아키텍처 사전 지식(Neural Circuit Architectural Priors, NCAP)을 소개한다. 이는 자극성/억제성 균형, 내재된 오실레이터, 희박한 연결성 등의 제약 조건을 통합하여, 완전히 연결된 다층퍼셉트론(MLP)과 유사한 성능을 달성하면서도 파rameter 수를 수개의 주기수만큼 줄이고, 데이터 효율성을 크게 향상시키며, 새로운 신체 설계로의 전이 능력까지 우수하다.

ABSTRACT

Artificial neural networks for motor control usually adopt generic architectures like fully connected MLPs. While general, these tabula rasa architectures rely on large amounts of experience to learn, are not easily transferable to new bodies, and have internal dynamics that are difficult to interpret. In nature, animals are born with highly structured connectivity in their nervous systems shaped by evolution; this innate circuitry acts synergistically with learning mechanisms to provide inductive biases that enable most animals to function well soon after birth and learn efficiently. Convolutional networks inspired by visual circuitry have encoded useful biases for vision. However, it is unknown the extent to which ANN architectures inspired by neural circuitry can yield useful biases for other AI domains. In this work, we ask what advantages biologically inspired ANN architecture can provide in the domain of motor control. Specifically, we translate C. elegans locomotion circuits into an ANN model controlling a simulated Swimmer agent. On a locomotion task, our architecture achieves good initial performance and asymptotic performance comparable with MLPs, while dramatically improving data efficiency and requiring orders of magnitude fewer parameters. Our architecture is interpretable and transfers to new body designs. An ablation analysis shows that constrained excitation/inhibition is crucial for learning, while weight initialization contributes to good initial performance. Our work demonstrates several advantages of biologically inspired ANN architecture and encourages future work in more complex embodied control.

연구 동기 및 목표

• 생물학적으로 영감을 받은 신경망 아키텍처가 운동 제어에 있어 유효한 유도적 편향(inductive biases)을 제공할 수 있는지 조사하기 위해.
• *C. elegans*의 잘 연구된 이동 회로 기반으로 신경 회로 아키텍처 사전 지식(Neural Circuit Architectural Prior, NCAP)을 개발하기 위해.
• 기본적인 다층퍼셉트론(MLP)과 비교하여 NCAP의 성능을 初기 성능, 점점 도달하는 성능, 데이터 효율성, 파rameter 효율성, 해석 가능성, 전이 능력 측면에서 평가하기 위해.
• 작고 구조화된 네트워크에서 학습과 성능에 핵심적인 역할을 하는 아키텍처 구성 요소—예를 들어 부호 제약, 가중치 초기화, 희박한 연결성—을 특정하기 위해.

제안 방법

• *C. elegans*의 이동 신경 회로를 이산 시간 동역학과 ReLU 비선형성을 갖춘 전방향 인공 신경망으로 변환하기 위해.
• 생물학적 특징 통합: 내재된 오실레이터(중심 패턴 생성기), 부호 제약이 있는 시냅스(흥장성 대비 억제성), 희박하고 모듈화된 연결성.
• 학습 및 평가의 몸체 플랫폼으로 DeepMind Control Suite의 시뮬레이션된 수영하는 에이전트를 사용하기 위해.
• 최적화 철학이 다른 데도 불구하고 성능을 평가하기 위해 강화학습(PPO)과 진화 전략(ES)을 모두 사용하여 NCAP를 학습하기 위해.
• 가중치 공유, 부호 제약, 초기화, 연결성의 희박성의 기여를 분리하기 위해 추론 실험(Ablation studies)을 시행하기 위해.
• 구조가 없는 밀집 연결성과 무작위 프루닝을 적용한 동일한 아키텍처를 가진 표준 3층 MLP와의 성능 비교를 위해 벤치마킹하기 위해.

실험 결과

연구 질문

• RQ1 생물학적 신경망 회로에서 영감을 받은 신경망 아키텍처가 몸체 운동 제어에서 데이터 효율성과 파rameter 효율성을 향상시킬 수 있는가?
• RQ2 부호 제약이 있는 시냅스와 내재된 오실레이터 같은 생물학적으로 영감을 받은 아키텍처 사전 지식이 작은, 희박한 네트워크에서 학습에 얼마나 기여하는가?
• RQ3 NCAP 아키텍처는 초기 성능, 점점 도달하는 성능, 새로운 신체 설계로의 전이 능력 측면에서 표준 MLP와 어떻게 비교되는가?
• RQ4 가중치 초기화, 부호 제약, 또는 희박한 연결성 같은 아키텍처 구성 요소 중에서 NCAP 프레임워크에서 성공적인 학습에 가장 중요한 것은 무엇인가?

주요 결과

• NCAP 아키텍처는 완전히 연결된 다층퍼셉트론(MLP)과 유사한 점점 도달하는 성능을 달성하면서도 파rameter 수를 수개의 주기수만큼 줄였다.
• NCAP는 뚜렷한 데이터 효율성 향상을 보였으며, MLP 기준선보다 훨씬 적은 환경 상호작용으로 이동 작업을 학습했다.
• 흥장성과 억제성의 제약 조건이 학습에 필수적이었으며, 적절한 부호 제약이 없으면 동일한 학습 제약 조건 하에서 NCAP는 학습에 실패했다.
• 가중치 초기화가 양호한 초기 성능를 달성하는 데 핵심적인 역할을 했으며, 생물학적으로 타당한 초기화 방식이 더 빠른 수렴을 지원한다는 것을 시사한다.
• 가중치 공유가 데이터 효율성에 약간의 기여를 하였고, 희박한 연결성만으로는 부호 제약과 함께 조합되지 않으면 성능 향상이 이루어지지 않았다.
• NCAP는 새로운 신체 설계로 효과적으로 전이되었으며, 이는 모듈성과 원래 에이전트 구성 이외의 일반화 능력을 보여주었다.