[논문 리뷰] One step back, two steps forward: interference and learning in recurrent neural networks

Chen Beer, Omri Barak|arXiv (Cornell University)|2018. 05. 24.

Neural dynamics and brain function참고 문헌 34인용 수 4

한 줄 요약

이 논문은 순차적 학습에서 반복 신경망의 성능이 LMS와 같은 생물학적으로 타당한 학습 규칙에 의해 간섭으로 인해 어떻게 저하되는지 조사한다. LMS는 높은 시험 상관관계로 인해 심각한 망각을 겪는 반면, FORCE 학습은 2차 통계를 통해 이를 방지하여 LMS보다 수개월 정도 느린 수렴 속도를 보이며, 안정적인 역동적 기억 형성에 있어 학습 규칙 설계의 핵심적인 상충관계를 드러낸다.

ABSTRACT

Artificial neural networks, trained to perform cognitive tasks, have recently been used as models for neural recordings from animals performing these tasks. While some progress has been made in performing such comparisons, the evolution of network dynamics throughout learning remains unexplored. This is paralleled by an experimental focus on recording from trained animals, with few studies following neural activity throughout training. In this work, we address this gap in the realm of artificial networks by analyzing networks that are trained to perform memory and pattern generation tasks. The functional aspect of these tasks corresponds to dynamical objects in the fully trained network - a line attractor or a set of limit cycles for the two respective tasks. We use these dynamical objects as anchors to study the effect of learning on their emergence. We find that the sequential nature of learning has major consequences for the learning trajectory and its final outcome. Specifically, we show that Least Mean Squares (LMS), a simple gradient descent suggested as a biologically plausible version of the FORCE algorithm, is constantly obstructed by forgetting, which is manifested as the destruction of dynamical objects from previous trials. The degree of interference is determined by the correlation between different trials. We show which specific ingredients of FORCE avoid this phenomenon. Overall, this difference results in convergence that is orders of magnitude slower for LMS. Learning implies accumulating information across multiple trials to form the overall concept of the task. Our results show that interference between trials can greatly affect learning, in a learning rule dependent manner. These insights can help design experimental protocols that minimize such interference, and possibly infer underlying learning rules by observing behavior and neural activity throughout learning.

연구 동기 및 목표

• 훈련된 순환 네트워크에서 固定点과 极限순환과 같은 역동적 구조가 어떻게 형성되는지 이해하기.
• LMS와 같은 일부 학습 규칙이 생물학적으로 타당함에도 불구하고, 시험 간에 기억 표현을 안정적으로 유지하지 못하는 이유를 조사하기.
• 간섭을 방지하고 안정적인 학습을 가능하게 하는 FORCE 알고리즘의 특정 구성 요소를 규명하기.
• 시험 순서와 학습률이 기억 및 패턴 생성 작업에서 수렴성과 안정성에 미치는 영향을 탐색하기.

제안 방법

• 연구는 랜덤 연결 행렬을 가진 속도 기반 순환 신경망을 사용하며, FORCE 및 LMS 알고리즘을 통해 출력 가중치를 훈련한다.
• 고정점(기억 작업용)과 극한순환(패턴 생성용)과 같은 역동적 오브제트는 역상관 행렬과 선형 안정성 분석을 통해 훈련 전반에 걸쳐 식별하고 추적한다.
• 네트워크는 두 가지 작업에 대해 훈련된다: 단순 기억(지연 후 자극 값 출력)과 기억 및 패턴 생성(입력 후 사인파 생성).
• 역사 의존 정보의 역할을 분리하기 위해 2차 통계(P 행렬)를 조작한다.
• 학습률과 시험 순서의 영향을 테스트하여 제어 및 수렴 동역학을 평가한다.
• 간섭과 수렴성에 대한 결과를 검증하기 위해 보상 기반 헤프시안 학습을 비교로 사용한다.

실험 결과

연구 질문

• RQ1 왜 LMS 학습은 순차적 학습 과제에서 시험 간에 안정적인 역동적 오브제트를 유지하지 못하는가?
• RQ2 FORCE 알고리즘의 어떤 특정 구성 요소가 시험 간 간섭을 방지하며, LMS와 어떻게 다를까?
• RQ3 연속 시험 간 상관관계가 망각 정도와 학습 효율성에 어떤 영향을 미치는가?
• RQ4 학습률이 학습 과정의 안정성과 수렴성에 어느 정도 영향을 미치는가?
• RQ5 시험 순서를 재정렬하면 LMS로 훈련된 네트워크에서 간섭을 줄이고 학습 성능을 향상시킬 수 있는가?

주요 결과

• LMS 학습은 자극 간 높은 상관관계로 인해 시험 간 심각한 간섭을 겪으며, 이로 인해 이전에 형성된 고정점과 극한순환이 사라진다.
• FORCE 알고리즘은 LMS가 유지하지 못하는 2차 통계(P 행렬)를 유지함으로써 이러한 간섭을 피한다.
• FORCE 훈련 중에 시험 간 2차 정보를 삭제하면 LMS의 행동을 재현하며, P 행렬 유지가 안정적 학습에 필수적임을 확인한다.
• LMS의 수렴 속도는 FORCE보다 수개월 정도 느리며, 이는 역동적 오브제트가 반복적으로 파괴되고 재구성되기 때문이다.
• 더 느린 학습률은 제어 문제를 악화시켜 네트워크가 목표 다양체에서 벗어나 오차를 증가시킨다.
• 보상 기반 헤프시안 학습은 LMS와 유사한 행동을 보이며, 오직 마지막 자극에만 수렴함을 보여, 간섭에 민감한 규칙에서 공통된 실패 양상이 있음을 시사한다.