[논문 리뷰] RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks

Leo Kozachkov, Michaela Ennis외 1명|arXiv (Cornell University)|2021. 06. 16.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 계약 이론을 사용하여 상호작용하는 모듈 간에 막대한 피드백이 존재함에도 불구하고 전역적으로 안정적인, 모듈식인 순환 신경망(RNN) 어셈블리—'RNN의 RNN'—를 구성하기 위한 원칙적인 프레임워크를 제안한다. 하위망의 가중치를 계약 동역학을 강제하는 방식으로 매개변수화하고 비선형 제어 이론을 통해 안정성 조건을 유도함으로써, 기울기 기반 최적화를 통해 안정적인 '네트워크의 네트워크'를 구성할 수 있게 되었으며, 이는 seqCIFAR10 및 순서 뒤바뀐 MNIST와 같은 순차적 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) are widely used throughout neuroscience as models of local neural activity. Many properties of single RNNs are well characterized theoretically, but experimental neuroscience has moved in the direction of studying multiple interacting areas, and RNN theory needs to be likewise extended. We take a constructive approach towards this problem, leveraging tools from nonlinear control theory and machine learning to characterize when combinations of stable RNNs will themselves be stable. Importantly, we derive conditions which allow for massive feedback connections between interacting RNNs. We parameterize these conditions for easy optimization using gradient-based techniques, and show that stability-constrained "networks of networks" can perform well on challenging sequential-processing benchmark tasks. Altogether, our results provide a principled approach towards understanding distributed, modular function in the brain.

연구 동기 및 목표

• 모듈 간 광범위한 피드백이 존재하는 상호연결된 RNN의 안정성 분석을 위한 이론적 도구의 부족 문제를 해결한다.
• 현대 신경과학 실험에서 관찰되는 다영역, 분산 신경 계산을 지원하기 위해 RNN 이론을 단일 네트워크 모델을 초월해 확장한다.
• 안정된 RNN 모듈을 더 큰 전역 안정 시스템으로 조합할 수 있는 구축 가능하고 최적화 友好的한 방법을 개발한다.
• 안정성을 유지하면서 신경 어셈블리의 빠른 재구성 가능성을 보장함으로써, 동적 뇌 기능과 진화적 유연성 향상과 관련성을 갖는다.
• 계약 분석과 메트릭 기반 조건을 사용하여 복잡한 RNN 아키텍처에 대한 공식적이고 검증 가능한 안정성 증명서를 제공한다.

제안 방법

• 계약 분석을 사용하여 초기 조건에 대한 지수적 기억 상실을 보장하는 강력한 동역학적 안정성 형태를 정의한다.
• 개별 RNN 하위망을 수정된 SVD 기반 가중치 구조로 매개변수화한다: $\mathbf{W}_i = \mathbf{\Phi}_i^{-1}\mathbf{U}_i\mathbf{\Sigma}_i\mathbf{V}_i^T\mathbf{\Phi}_i$, 여기서 $\Sigma_{ii} \in [0, g^{-1})$, $\Phi_i$ 는 대각행렬이면서 비특이적이며, $U_i, V_i$ 는 정규직교이다.
• 학습 중에 반대칭 행렬의 지수함수를 통해 $\mathbf{U}_i$ 와 $\mathbf{V}_i$ 의 정규직교성을 강제한다.
• 블록 대각 행렬 $\tilde{\mathbf{M}} = \text{BlockDiag}(\mathbf{\Phi}_1^2, \dots, \mathbf{\Phi}_p^2)$ 를 사용하여 전체 네트워크의 전역 안정성 증명서를 도출하며, 이로써 전체 시스템이 여전히 계약 동역학을 유지함을 보장한다.
• 기울기 기반 최적화를 적용하여 네트워크를 학습하면서, 미분 가능한 매개변수화를 통해 안정성 제약 조건을 유지한다.
• 제어된 초모수 조정과 반복 가능성 테스트를 통한 순차적 벤치마크 과제(예: seqCIFAR10, permuted MNIST)에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 다수의 안정된 RNN 모듈이 광범위한 피드백이 존재함에도 불구하고 더 큰 전역 안정 시스템으로 상호연결될 수 있는 조건는 무엇인가?
• RQ2 계약 이론을 사용하여 모듈식 RNN 아키텍처에 대해 검증 가능하고 미분 가능한 안정성 증명서를 구성할 수 있는가?
• RQ3 하위망에서 계약 동역학을 강제할 경우, 순차적 과제에서 더 큰 '네트워크의 네트워크'의 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ4 상호모듈 연결이 제약되지 않은 경우 안정성이 얼마나 유지될 수 있으며, 이는 완전히 제약된 설계와 비교해 볼 때 어떠한가?
• RQ5 이 프레임워크는 생물학적 모듈성과 진화적 변이 유연성을 모방하는 데 있어 빠른 신경 어셈블리 재구성 지원이 가능한가?

주요 결과

• SVD 콤보 넷은 10회의 시험에서 seqCIFAR10 과제에서 평균 테스트 정확도 64.72%를 기록했으며, 분산 0.406으로 높은 반복성과 일관성을 보였다.
• 스 parser 콤보 넷은 200 에포크 후에 학습률 감소를 에포크 90과 140에 적용하여 seqCIFAR10 에서 65.72%의 테스트 정확도를 달성했으며, 기준 설정보다 뛰어난 성능을 보였다.
• SVD 콤보 넷의 제어 실험에서, 모듈 간 안정성 제약 조건을 제거했을 때 permuted MNIST 에서 테스트 정확도는 94.9%에서 94.56%로 약간 감소에 그쳐, 모듈 간 불안정성에 대한 강건성을 입증했다.
• 이 프레임워크는 기존 RNN에서 일반적으로 불안정성을 유발하는 막대한 피드백 연결을 갖는 안정적인 대규모 RNN 학습을 성공적으로 가능하게 했다.
• 이 방법은 보장된 안정성과 함께 모듈식, 계층적인 RNN 구성이 가능하게 하여 효율적인 최적화와 동적 재구성 가능성을 제공한다.
• 계약 분석을 통해 도출된 이론적 안정성 조건은 다수의 시험과 초모수 설정에서의 일관된 성능을 통해 실증적으로 검증되었다.