[논문 리뷰] Charting and navigating the space of solutions for recurrent neural networks

Elia Turner, Kabir Dabholkar외 1명|arXiv (Cornell University)|2021. 11. 17.

Neural dynamics and brain function인용 수 10

한 줄 요약

이 논문은 뉴런 과학에서 영감을 받은 작업들에 대해 동적 제어 상태, 단순화된 동역학 그래프, 외삽 행동을 분석함으로써 순환 신경망(RNNs)의 해 공간을 매핑하고 탐색하는 프레임워크를 제안한다. 이는 동일한 작업에 대해 훈련된 RNNs가 본질적으로 다른 해를 생성하며, 이는 신경 활동으로부터 부분적으로 예측 가능하다는 점을 드러내며, 기계학습 및 계산 신경과학 분야에서 해의 보편성에 대한 가정을 도전한다.

ABSTRACT

Recurrent Neural Networks (RNNs) were recently successfully used to model the way neural activity drives task-related behavior in animals, operating under the implicit assumption that the obtained solutions are universal. Observations in both neuroscience and machine learning challenge this assumption. Animals can approach a given task with a variety of strategies, and training machine learning algorithms introduces the phenomenon of underspecification. These observations imply that every task is associated with a space of solutions. To date, the structure of this space is not understood, limiting the approach of comparing RNNs with neural data. Here, we characterize the space of solutions associated with various tasks. We first study a simple two-neuron network on a task that leads to multiple solutions. We trace the nature of the final solution back to the network's initial connectivity and identify discrete dynamical regimes that underlie this diversity. We then examine three neuroscience-inspired tasks: Delayed and interval discrimination, and Time reproduction. For each task, we find a rich set of solutions. Variability can be found directly in the neural activity of the networks, and additionally by testing the trained networks' ability to extrapolate, as a perturbation to a system often reveals hidden structure. Furthermore, we relate extrapolation patterns to specific dynamical objects and effective algorithms found by the networks. We introduce a tool to derive the reduced dynamics of networks by generating a compact directed graph describing the essence of the dynamics with regards to behavioral inputs and outputs. Using this representation, we can partition the solutions to each task into a handful of types and partially predict them from neural features. Our results shed light on the concept of the space of solutions and its uses in Machine learning and in Neuroscience.

연구 동기 및 목표

• 동일한 작업에 대해 훈련된 RNNs의 해 공간 존재성과 구조를 조사하여 해의 보편성 가정에 도전한다.
• 지연 식별, 간격 식별, 시간 재생과 같은 작업에 대해 훈련된 RNNs에서 다수의 본질적으로 다른 동적 해를 식별하고 특성화한다.
• RNN 동역학을 압축하고 해석 가능한 방향성 그래프로 단순화하여 핵심 계산 행동을 포괄하는 방법을 개발한다.
• 신경 활동과 외삽 행동이 훈련 성능 이외의 숨겨진 변동성 계층을 어떻게 드러내는지 탐색한다.
• 실험적으로 측정 가능한 신경 특징이 네트워크가 채택할 해 유형을 예측할 수 있는지 평가한다.

제안 방법

• 지연 식별, 간격 식별, 시간 재생과 같은 세 가지 뉴런 과학에서 영감을 받은 작업에 대해 동일한 초모수를 가진 다수의 RNNs를 훈련시켰다.
• 입력에 대한 반응으로 상태 간 전이를 코딩하는 압축된 방향성 그래프로 네트워크 행동을 추상화하여 단순화된 동역학 그래프를 생성했다.
• 왜곡 기반 외삽 테스트를 통해 숨겨진 동역학적 구조를 드러내고, 분포 외 입력에 대한 반응 패턴을 기반으로 해를 분류했다.
• 선형화 및 고유값 분석을 적용하여 선형 인출기 네트워크에서 참가 비율, 디코더 MSE, 고유벡터 노름 등의 동역학적 특징을 정량화했다.
• 해 유형과의 상관관계를 분석하기 위해 신경 측정치(예: 참가 비율, 입력 가중치 상관관계)를 활용하여 신경 활동으로부터의 예측 가능성 평가를 수행했다.
• 혼동 행렬과 분류 지표를 사용하여 신경 특징이 해 유형 예측에 대한 능력을 평가했다.

실험 결과

연구 질문

• RQ1 동일한 작업에 대해 훈련된 RNNs의 해 공간은 어떤 구조를 가지며, 결과적으로 나타나는 동적 제어 상태는 얼마나 다양할까?
• RQ2 외삽 행동은 훈련 기간 동안 드러나지 않는 숨겨진 계산적 구조를 어떻게 드러내는가?
• RQ3 단순화된 동역학 그래프가 RNN 해를 효과적으로 서로 다른 해석 가능한 유형으로 분할할 수 있는가?
• RQ4 훈련 중의 신경 활동 패tern이 RNN의 최종 해 유형을 어느 정도 예측할 수 있는가?
• RQ5 해의 다양성은 어떤 동적 물체(예: 인출기)와 네트워크가 실제로 실행하는 효율적 알고리즘과 어떻게 관련이 있는가?

주요 결과

• 시간 재생 작업에서 훈련된 400개의 LSTM 네트워크 중 5개의 주요 해 유형이 식별되었으며, 이는 총 수의 87%를 차지했고, 각각 다른 외삽 패턴과 단순화된 동역학 그래프를 보였다.
• 훈련 중에 확보한 신경 특징(예: 참가 비율, 입력 가중치 상관관계)은 해 유형에 대해 부분적인 예측 능력을 보였으며, 이는 예측 작업에서 비랜덤 혼동 행렬로 확인되었다.
• 외삽 행동은 훈련 세트 성능 이외의 추가적인 변동성 계층을 드러내었으며, 서로 다른 기저 동역학적 물체에 해당하는 고유한 반응 패턴이 관찰되었다.
• 단순화된 동역학 그래프 표현 방식은 해를 소수의 유형으로 효과적으로 분할하여 본질적으로 다른 RNN 행동을 체계적으로 분류하는 데 성공했다.
• 컨텍스트 의존적 통합과 같은 작업에서도 네트워크가 선형 인출기에 수렴함에도 불구하고, 독립적으로 초기화된 네트워크 간에 상당한 정량적 변동성이 지속되었으며, 신경 측정치 간 상관관계는 약했다.
• 광범위한 훈련에도 불구하고 도전적인 입력 하에서 행동의 변동성은 여전히 높았으며, 낮은 훈련 오차가 낮은 해 다양성 또는 강건성을 의미하지는 않음을 시사했다.