[論文レビュー] Sparse Coding by Spiking Neural Networks: Convergence Theory and Computational Results

Ping Tang, Tsung-Han Lin+1 more|arXiv (Cornell University)|May 15, 2017

Advanced Memory and Neural Computing参考文献 15被引用数 28

ひとこと要約

本稿では、制約付きLASSO（CLASSO）問題——機械学習分野における重要なスパースコーディングタスク——の解に解析的に収束することが保証されるスパikingニューラルネットワーク（S-LCA）を提案する。ニューロンがスパースかつ非同期的なスパイクで通信するモデルを採用し、一般化されたLaSalleの不変性原理を活用することで、スパイクレートが最適解に収束することを証明した。実験結果では、標準CPU上でのFISTAに比べて収束が速いことが示された。

ABSTRACT

In a spiking neural network (SNN), individual neurons operate autonomously and only communicate with other neurons sparingly and asynchronously via spike signals. These characteristics render a massively parallel hardware implementation of SNN a potentially powerful computer, albeit a non von Neumann one. But can one guarantee that a SNN computer solves some important problems reliably? In this paper, we formulate a mathematical model of one SNN that can be configured for a sparse coding problem for feature extraction. With a moderate but well-defined assumption, we prove that the SNN indeed solves sparse coding. To the best of our knowledge, this is the first rigorous result of this kind.

研究の動機と目的

• スパースコーディング問題を解くスパキングニューラルネットワークに対して、厳密な収束保証を確立すること。
• 生物学的に妥当なスパキングニューラルネットワークと、LASSOおよびCLASSO問題に対する解析的に正しい最適化ソルバの間のギャップを埋めること。
• スパキングニューラルネットワークが、通信効率的かつハードウェアに優れた性能を示しつつ、スパースコーディングで競争力のある性能を達成できることを示すこと。
• S-LCAの解がアナログLCA（A-LCA）モデルの固定点に収束することを示す数学的枠組みを提供すること。

提案手法

• ニューロンがバイナリスパイクで通信し、スパイクタイミングに応じて膜電位を更新するスパキングLCA（S-LCA）を定式化する。
• 収束行動の分析にあたり、平均セルソラ電流と瞬時のスパイクレートを主要変数として導入する。
• 一般化されたLaSalleの不変性原理を適用し、スパイクレートダイナミクスが元のアナログLCA（A-LCA）システムの固定点に収束することを証明する。
• 微分方程式の時間平均化により導かれる膜電位ダイナミクスとスパイクレート平均の関係を用い、S-LCAとA-LCAを結びつける。
• 特に、スパイク間隔が無限に遠ざかることのない uniformly な有界性を仮定することで、膜電位とスパイク間隔の有界性を保証し、収束を確保する。
• 数値シミュレーションを通じて理論的結果を検証し、標準CPU上でのCLASSO解への高速収束を示した。

実験結果

リサーチクエスチョン

• RQ1 スパキングニューラルネットワークが、制約付きLASSO（CLASSO）問題の解に数学的に収束することが保証できるか？
• RQ2 スパースかつ非同期通信を特徴とするネットワークにおけるスパキングダイナミクスは、アナログLCA（A-LCA）モデルの連続的ダイナミクスとどのように関係するか？
• RQ3 スパースコーディングのためのスパキングニューラルネットワークで収束を保証するために、スパイクタイミングにどのような仮定が必要か？
• RQ4 スパキングニューラルネットワークは、実際の応用においてFISTAのような最先端の1次最適化法と同等の性能を達成できるか？

主な発見

• S-LCAモデルは、スパイク間隔が有界であるという仮定の下で、CLASSO問題の唯一の解に解析的に収束することが保証され、本分野におけるスパキングネットワークで初めての厳密な収束結果を達成した。
• 理論的分析により、S-LCAのスパイクレートダイナミクスの極限点が、アナログLCA（A-LCA）システムの固定点に正確に一致することが示され、解の正しさが保証された。
• 数値結果により、標準CPU上での近似S-LCA実装が、FISTA——代表的な1次最適化法——よりもCLASSO解に高速に収束することが確認された。
• S-LCAの収束速度は、ネットワークが内在的に並列処理可能で、スパース通信が可能であることに起因し、特化したスパキングニューラルネットワークハードウェアで完全に活用可能である。
• 証明は、時間平均化されたダイナミクスに一般化されたLaSalleの不変性原理を適用することで行われ、離散的スパイクイベントが存在する場合でも収束を保証した。
• 本研究は、スパキングニューラルネットワークが、数学的に整合的でありながら、機械学習分野の基本的最適化問題を解く上で実用的に効率的である可能性を確認した。