[論文レビュー] RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks

Leo Kozachkov, Michaela Ennis+1 more|arXiv (Cornell University)|Jun 16, 2021

Neural dynamics and brain function被引用数 5

ひとこと要約

本論文は、収縮理論を用いて、モジュール間の巨大なフィードバックがあっても、グローバル安定性を保証する、安定でモジュラーな再帰的ニューラルネットワーク（RNN）アセンブリの原理的枠組みを導入する。サブネットワークの重みを収縮的ダイナミクスを強制するようにパrameter化し、非線形制御理論を用いて安定性条件を導出することで、勾配ベース最適化が可能な安定な「ネットワークのネットワーク」を実現し、seqCIFAR10 やパーミュテッドMNISTといった順序付きタスクで優れた性能を達成する。

ABSTRACT

Recurrent neural networks (RNNs) are widely used throughout neuroscience as models of local neural activity. Many properties of single RNNs are well characterized theoretically, but experimental neuroscience has moved in the direction of studying multiple interacting areas, and RNN theory needs to be likewise extended. We take a constructive approach towards this problem, leveraging tools from nonlinear control theory and machine learning to characterize when combinations of stable RNNs will themselves be stable. Importantly, we derive conditions which allow for massive feedback connections between interacting RNNs. We parameterize these conditions for easy optimization using gradient-based techniques, and show that stability-constrained "networks of networks" can perform well on challenging sequential-processing benchmark tasks. Altogether, our results provide a principled approach towards understanding distributed, modular function in the brain.

研究の動機と目的

• モジュール間の広範なフィードバックを伴う場合でも、相互接続されたRNNの安定性を分析する理論的ツールの不足に対処する。
• 現代神経科学実験で観察されるように、多領域で分散された神経計算を可能にする、単一ネットワークモデルを超えたRNN理論の拡張。
• 安定なRNNモジュールをより大きなグローバル安定システムに組み合わせる、構築可能で最適化にやさしい方法の開発。
• 動的脳機能や進化の促進的変異を模倣するため、神経アセンブリの迅速な再構成を可能にしながら安定性を維持する。
• 収縮解析とメトリックに基づく条件を用いて、複雑なRNNアーキテクチャの形式的で検証可能な安定性証明書の提供。

提案手法

• 収縮解析を用いて、初期条件の指数的消失を保証する強力な動的安定性の定式化を行う。
• 各RNNサブネットワークを、$\mathbf{W}_i = \mathbf{\Phi}_i^{-1}\mathbf{U}_i\mathbf{\Sigma}_i\mathbf{V}_i^T\mathbf{\Phi}_i$ という修正された特異値分解に基づく重み構造でパrameter化する。ここで $\Sigma_{ii} \in [0, g^{-1})$、$\Phi_i$ は対角かつ正則、$U_i, V_i$ は直交行列。
• トレーニング中に反対称行列の行列指数を用いて、$\mathbf{U}_i$ と $\mathbf{V}_i$ の直交性を強制する。
• ブロック対角メトリック $\tilde{\mathbf{M}} = \text{BlockDiag}(\mathbf{\Phi}_1^2, \dots, \mathbf{\Phi}_p^2)$ を用いて、全ネットワークのグローバル安定性証明を行う。これにより、全システムが収縮的であることが保証される。
• 微分可能なパrameter化により、安定性制約を維持したまま勾配ベース最適化を適用する。
• seqCIFAR10 やパーミュテッドMNISTなどの順序付きベンチマークタスク上で、制御されたハイパーパrameterチューニングと再現性テストを実施して、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 広範なフィードバックがある中で、複数の安定なRNNモジュールを、巨大なフィードバックを伴ってもグローバルに安定なシステムに接続できる条件は何か？
• RQ2 収縮理論を用いて、検証可能で微分可能な安定性証明書を、モジュラーRNNアーキテクチャに構築できるか？
• RQ3 サブネットワークに収縮的ダイナミクスを強制することで、順序付きタスクにおける「ネットワークのネットワーク」の性能と一般化能力にどのような影響を与えるか？
• RQ4 相互接続部の制約がない場合、安定性はどの程度保持されるのか？ これは完全に制約された設計と比べてどう異なるか？
• RQ5 このフレームワークは、生物学的モジュラリティや進化における促進的変異を模倣するように、神経アセンブリの迅速な再構成を可能にするか？

主な発見

• SVD Combo Netは、10回の試行でseqCIFAR10タスクにおいて平均64.72%のテスト精度を達成し、標準偏差0.406を示しており、高い再現性を示した。
• Sparse Combo Netは、200エポックの学習後、エポック90と140でロスの減少を伴う学習率スケジューリングを適用し、seqCIFAR10で65.72%のテスト精度を達成し、ベースライン設定を上回った。
• SVD Combo Netの制御実験では、モジュール間の安定性制約を除去しても、パーミュテッドMNISTでのテスト精度は94.9%から94.56%にわずかに低下にとどまり、モジュール間不安定性に対して強い耐性を示した。
• このフレームワークにより、通常のRNNでは不安定化しやすい、巨大なフィードバック接続を持つ大規模RNNの学習が成功した。
• 安定性が保証されるモジュラーかつ階層的なRNN構築が可能となり、効率的な最適化と動的再構成が可能になった。
• 収縮解析を用いて導出された理論的安定性条件は、複数回の試行とハイパーパrameter設定での一貫性ある性能により、実証的に検証された。