[논문 리뷰] The interplay between randomness and structure during learning in RNNs

Friedrich Schuessler, Francesca Mastrogiuseppe외 3명|arXiv (Cornell University)|2020. 06. 19.

Neural dynamics and brain function인용 수 46

한 줄 요약

이 논문은 저차원 과제에서 RNN의 경사 하강 학습이 연결성에 저랭크 변화를 유발하고, 이를 선형적이고 해석 가능한 모델을 통해 설명하며 초기 무작위 W0가 학습을 가속하고 최종 구조를 형성하는 방식에 주목한다.

ABSTRACT

Recurrent neural networks (RNNs) trained on low-dimensional tasks have been widely used to model functional biological networks. However, the solutions found by learning and the effect of initial connectivity are not well understood. Here, we examine RNNs trained using gradient descent on different tasks inspired by the neuroscience literature. We find that the changes in recurrent connectivity can be described by low-rank matrices, despite the unconstrained nature of the learning algorithm. To identify the origin of the low-rank structure, we turn to an analytically tractable setting: training a linear RNN on a simplified task. We show how the low-dimensional task structure leads to low-rank changes to connectivity. This low-rank structure allows us to explain and quantify the phenomenon of accelerated learning in the presence of random initial connectivity. Altogether, our study opens a new perspective to understanding trained RNNs in terms of both the learning process and the resulting network structure.

연구 동기 및 목표

• 초기 무작위 RNN 연결성과 과제 구조가 학습 역학에 어떤 영향을 미치는지 조사한다.
• 경사 하강에 의해 유도된 연결 변화(Delta W)의 형태를 특성화한다.
• 해석적으로 다루기 쉬운 선형 RNN 모델을 사용하여 저랭크 변화의 기원을 설명한다.
• 초기 연결성이 학습과 어떤 상관관계를 보이고 학습을 어떻게 가속시키는지 규명한다.
• 더 복잡한 아키텍처와 과제로 확장하여 연구 결과의 일반성을 평가한다.

제안 방법

• 세 가지 신경과학에서 영감을 받은 저차원 과제에서 RNN을 학습시키고 최종 W를 W0 + Delta W로 분석한다.
• Delta W의 특이값을 계산하여 랭크를 평가하고 기능적 랭크를 테스트하기 위해 rank-R 잘림을 수행한다.
• 경사 흐름이 있는 선형이고 해석적으로 다루기 쉬운 RNN 모델을 개발하여 W1 및 고차항을 유도한다.
• 초기 연결성 W0가 행렬 B = (I - W0)^{-1}를 통해 학습을 어떻게 수정하는지와 이것이 학습 시간에 어떤 영향을 미치는지 도출한다.
• 감정 분석 과제로 학습된 2층 LSTM과 비교하여 통찰을 검증한다.

실험 결과

연구 질문

• RQ1 제약 없이 학습하더라도 경사 하강으로 학습된 RNN은 저랭크 연결 변화(Delta W)를 생성하는가?
• RQ2 초기 무작위 연결성 W0가 학습 속도와 최종 네트워크 구조에 어떤 영향을 미치는가?
• RQ3 선형 해석 모델이 저랭크 Delta W의 등장과 크기 및 관련 학습 가속을 포착할 수 있는가?
• RQ4 초기 신경과학에서 영감을 받은 과제 이외의 더 complex한 네트워크/과제에서도 저랭크 현상이 관찰되는가?
• RQ5 학습 중 Delta W가 W0에 정렬되거나 상관관계가 생기는 기전은 무엇인가?

주요 결과

• 학습으로 유도된 연결 변화는 세 가지 신경과학에서 영감을 받은 과제 전반에 걸쳐 저랭크이다.
• 초기 연결성 g는 학습을 가속시키고, g가 높을수록 최종 W에서 W0의 지배가 커지며 Delta W의 크기는 감소한다.
• W0를 Delta W와의 상관 구조에서 벗겨 재배열하면 성능이 악화되어 W0–Delta W 상관의 중요성을 보여준다.
• 선형적이고 단순한 환경에서 학습은 주로 rank-one Delta W를 생성하고, 가속은 (1−g^2)의 역제곱에 비례한다.
• 감정 분석 과제로 학습된 2층 LSTM 역시 저랭크 Delta W를 보이며, 이 현상이 더 복잡한 아키텍처로도 확장된다는 것을 시사한다.