[論文レビュー] On the Algorithmic Power of Spiking Neural Networks

Hitron, Yael, Lynch, Nancy+2 more|arXiv (Cornell University)|Mar 28, 2018

Advanced Memory and Neural Computing参考文献 46被引用数 12

ひとこと要約

この論文は、二重視点ダイナミクスモデルを導入することで、スパikingニューラルネットワーク（SNNs）が多項式時間で二次的およびℓ1最小化問題を解くことができることを厳密に確立している。SNNsが最適解への多項式収束バウンドを明示的に示し、通常の条件下でスパース解（最小ℓ1ノルム）を好むことを示しており、SNNsをℓ1最小化の新しいプライマル・デュアルアルゴリズムとして位置づけ、理論的保証を提供している。

ABSTRACT

Spiking Neural Networks (SNN) are mathematical models in neuroscience to describe the dynamics among a set of neurons that interact with each other by firing instantaneous signals, a.k.a., spikes. Interestingly, a recent advance in neuroscience [Barrett-Denève-Machens, NIPS 2013] showed that the neurons' firing rate, i.e., the average number of spikes fired per unit of time, can be characterized by the optimal solution of a quadratic program defined by the parameters of the dynamics. This indicated that SNN potentially has the computational power to solve non-trivial quadratic programs. However, the results were justified empirically without rigorous analysis. We put this into the context of natural algorithms and aim to investigate the algorithmic power of SNN. Especially, we emphasize on giving rigorous asymptotic analysis on the performance of SNN in solving optimization problems. To enforce a theoretical study, we first identify a simplified SNN model that is tractable for analysis. Next, we confirm the empirical observation in the work of Barrett et al. by giving an upper bound on the convergence rate of SNN in solving the quadratic program. Further, we observe that in the case where there are infinitely many optimal solutions, SNN tends to converge to the one with smaller l1 norm. We give an affirmative answer to our finding by showing that SNN can solve the l1 minimization problem under some regular conditions. Our main technical insight is a dual view of the SNN dynamics, under which SNN can be viewed as a new natural primal-dual algorithm for the l1 minimization problem. We believe that the dual view is of independent interest and may potentially find interesting interpretation in neuroscience.

研究の動機と目的

• スパikingニューラルネットワーク（SNNs）の最適化問題に対するアルゴリズム的パワーを厳密に分析すること。
• Barrettら（2013年）の経験的観察を確認・形式化すること：SNNの発火レートは二次計画問題を解く。
• SNNsが効率的にℓ1最小化問題を解けるか、どのような条件下で解けるかを調査すること。
• SNNダイナミクスの二重空間的解釈を確立し、ℓ1最小化の新しいプライマル・デュアルアルゴリズムとして位置づけること。
• 凸最適化問題を解くSNNsにおける明示的な多項式時間収束バウンドを提供すること。

提案手法

• 理論的分析のための簡素化・扱いやすいSNNモデルを提案：静的接続性と入力チャージを有する。
• SNNダイナミクスの二重視点を導入し、システムをデュアル空間で動作するプライマル・デュアルアルゴリズムとして解釈する。
• 理想結合および摂動技術を用いてℓ2残差誤差をバウンドし、強い双対性を介してℓ1誤差と関連付ける。
• デュアル変数のダイナミクスを制御するためのデュアルSNN定式化を適用し、最適解への収束を保証する。
• ディラックのデルタ関数としきい値発火ルールを用いたスパイクトレインモデルを導入し、ニューロンの発火行動を定義する。
• 微分方程式とリャプノフ型解析を用いて収束速度を導出し、多項式時間保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 SNNsは、保証付き多項式時間収束率で、二次計画問題の最適解に収束するか？
• RQ2 複数の最適解が存在する場合、SNNダイナミクスは通常の条件下で最小ℓ1ノルムを持つ解を好むか？
• RQ3 SNNダイナミクスはℓ1最小化のプライマル・デュアルアルゴリズムとして解釈可能か？
• RQ4 SNNsが最適化問題を解く際の明示的な収束バウンドは何か？
• RQ5 SNNダイナミクスのデュアル視点は、そのアルゴリズム的パワーの厳密な分析をどのように可能にするか？

主な発見

• SNNの発火レートは、対応する二次計画問題の最適解に多項式時間収束バウンド付きで収束する。
• 複数の最適解が存在する場合、通常の条件下でSNNは最小ℓ1ノルムを持つ解に収束する。
• SNNダイナミクスは、新しいℓ1最小化のプライマル・デュアルアルゴリズムとして解釈可能であり、デュアル視点が理論的洞察を提供する。
• SNN解のℓ1誤差は、ℓ2残差誤差に比例するレートで最適値に収束し、最小固有値と問題次元に依存する係数を有する。
• 非負最小二乗問題において、SNNは1/ϵおよび問題パラメータの多項式時間でϵ近似を達成し、t ≥ Ω(√λmax·n / (ϵ·λmin·∥b∥2)) のバウンドを有する。
• デュアルSNNダイナミクスは有界なデュアルポリトープ内に留まり、安定性を保証し、デュアル空間を介した誤差解析を可能にする。