[논문 리뷰] Efficient and robust multi-task learning in the brain with modular latent primitives

Christian D. Márton, Léo Gagnon외 2명|arXiv (Cornell University)|2021. 05. 28.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 생물학적으로 영감을 얻은 순환 신경망 아키텍처인 모듈러 잠재 프리미티브(Modular Latent Primitives, MoLaP)를 제안한다. MoLaP는 사전 훈련된 모듈러 잠재 역학을 활용하여 효율적이고 강건한 다중 작업 학습을 가능하게 한다. 신경과학 작업 코퍼스의 공통 통계에 기반해 작업에 종속되지 않은 분리된 잠재 모듈을 훈련시킴으로써, 표준 지속 학습 접근 방식에 비해 더 빠른 학습 속도, 더 낮은 파라미터 업데이트, 그리고 교란에 대한 뛰어난 강건성을 달성한다.

ABSTRACT

Biological agents do not have infinite resources to learn new things. For this reason, a central aspect of human learning is the ability to recycle previously acquired knowledge in a way that allows for faster, less resource-intensive acquisition of new skills. In spite of that, how neural networks in the brain leverage existing knowledge to learn new computations is not well understood. In this work, we study this question in artificial recurrent neural networks (RNNs) trained on a corpus of commonly used neuroscience tasks. Combining brain-inspired inductive biases we call functional and structural, we propose a system that learns new tasks by building on top of pre-trained latent dynamics organised into separate recurrent modules. These modules, acting as prior knowledge acquired previously through evolution or development, are pre-trained on the statistics of the full corpus of tasks so as to be independent and maximally informative. The resulting model, we call a Modular Latent Primitives (MoLaP) network, allows for learning multiple tasks while keeping parameter counts, and updates, low. We also show that the skills acquired with our approach are more robust to a broad range of perturbations compared to those acquired with other multi-task learning strategies, and that generalisation to new tasks is facilitated. This work offers a new perspective on achieving efficient multi-task learning in the brain, illustrating the benefits of leveraging pre-trained latent dynamical primitives.

연구 동기 및 목표

• 사전 존재하는 신경 인덕티브 바이어스(구조적 및 기능적 모두)가 인공 순환 네트워크에서 효율적인 다중 작업 학습을 어떻게 가능하게 하는지 조사하는 것.
• 생물학적 에이전트가 진화 또는 발달 과정에서 획득한 지식을 재사용하여 새로운 작업의 학습을 가속화하는 방식을 모델링하는 것.
• 각 작업 간에 표현을 분해하는 프레임워크를 개발하는 것, 이를 위해 분리된 최대 정보량을 갖는 잠재 모듈을 사용한다.
• 이러한 모듈러이고 사전 훈련된 잠재 역학 접근 방식이 다중 작업 학습 시나리오에서 강건성과 일반화 능력을 향상시키는지 평가하는 것.

제안 방법

• 9개의 신경과학 작업 코퍼스 전반에 걸쳐 표준 상관 분석(cca)을 사용하여 최대 정보량을 갖는 분리된 잠재 역학을 추출함으로써, 전체 코퍼스에 대해 고립된 순환 모듈을 사전 훈련한다.
• 전체 작업의 입력과 출력에 대해 주성분 분석(PCA)을 적용하여 모듈 사전 훈련을 위한 감소된 차원의 표현을 도출한다.
• 사전 훈련 후 모든 순환 가중치를 고정하고, 각 9개 작업에 대해 작업 전용 입력 및 출력 가중치만 훈련한다.
• 각 모듈이 재사용 가능한 기능 프리미티브를 구현하는 모듈러 아키텍처를 사용하여, 인코딩된 작업 독립적 표현을 가능하게 한다.
• L2 정규화와 활동 정규화를 적용하고, 작업 적응을 위해 고정된 학습률 1e-2를 사용한다.
• 모듈러 및 글로벌 교란에 대한 손상 시험, 노이즈 주입, 활동 차단을 통해 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모듈러 잠재 역학이 인공 RNN에서 다중 작업 학습의 효율성과 강건성을 향상시키는가?
• RQ2 분리된 작업에 종속되지 않은 잠재 프리미티브를 사용한 학습이 표준 지속 학습에 비해 파라미터 효율성과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 모듈러 잠재 프리미티브가 신경망의 구조적 및 기능적 교란에 대해 얼마나 높은 내성 강도를 제공하는가?
• RQ4 이러한 시스템은 뇌가 다양한 작업 간에 진화 또는 학습을 통해 획득한 기능 프리미티브를 재사용하는 능력을 모방할 수 있는가?
• RQ5 공유된 사전 훈련된 잠재 역학을 사용하면 예측할 수 없는 작업에 대한 일반화 능력이 향상되는가?

주요 결과

• MoLaP는 모든 9개 작업에서 높은 성능을 달성했으며, 대부분의 작업에서 테스트 정확도가 90% 이상을 유지하여 최소한의 피팅 튜닝으로 효과적인 작업 학습을 보였다.
• 가중치 손상과 노이즈에 대해 뚜렷한 강건성을 보였으며, 30% 글로벌 가중치 손상 조건에서도 성능 저하가 10% 미만으로 발생하여 기준 모델을 초월했다.
• 모듈러 교란이 글로벌 교란보다 성능 저하가 적었으며, 이는 모듈성 덕분에 손상의 확산이 제한되고 네트워크의 강건성이 향상됨을 시사한다.
• 새로운 작업으로의 일반화가 촉진되었으며, 분리된 잠재 역학이 작업 코퍼스 전반의 공통 통계적 구조를 포착했기 때문이다.
• 사전 훈련된 모듈이 CCA와 PCA를 통해 전체 작업 코퍼스에서 최대 정보량을 갖는 분리된 표현을 포착했음을 확인했다.
• 작업 전용 적응은 입력 및 출력 가중치의 작은 업데이트로만 이루어져, 새로운 작업 학습에 있어 낮은 파라미터 및 계산 비용을 입증했다.