[論文レビュー] Fully Spiking Variational Autoencoder

Hiromichi Kamata, Yusuke Mukuta+1 more|arXiv (Cornell University)|Sep 26, 2021

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、潜在空間を含め、すべてのコンponentがスパikingニューラルネットワーク（SNN）で実装された、最初のエンドツーエンドのスパキングニューラルネットワーク（SNN）VAEである完全スパキング変分オートエンコーダー（FSVAE）を提案する。自己回帰的ベルヌーイスパイクサンプリングを導入することで、浮動小数点演算を一切用いずに、潜在ベルヌーイ過程からの確率的サンプリングを可能にし、等価なANNと比較して、より優れたエネルギー効率と高速性を実現する神経形状ハードウェア上での高品質な画像生成を可能にする。

ABSTRACT

Spiking neural networks (SNNs) can be run on neuromorphic devices with ultra-high speed and ultra-low energy consumption because of their binary and event-driven nature. Therefore, SNNs are expected to have various applications, including as generative models being running on edge devices to create high-quality images. In this study, we build a variational autoencoder (VAE) with SNN to enable image generation. VAE is known for its stability among generative models; recently, its quality advanced. In vanilla VAE, the latent space is represented as a normal distribution, and floating-point calculations are required in sampling. However, this is not possible in SNNs because all features must be binary time series data. Therefore, we constructed the latent space with an autoregressive SNN model, and randomly selected samples from its output to sample the latent variables. This allows the latent variables to follow the Bernoulli process and allows variational learning. Thus, we build the Fully Spiking Variational Autoencoder where all modules are constructed with SNN. To the best of our knowledge, we are the first to build a VAE only with SNN layers. We experimented with several datasets, and confirmed that it can generate images with the same or better quality compared to conventional ANNs. The code is available at https://github.com/kamata1729/FullySpikingVAE

研究の動機と目的

• エネルギー制限のあるエッジデバイス上でスパキングニューラルネットワーク（SNN）を用いた高品質な画像生成を可能にすること。
• 連続的な潜在変数をSNNで表現する課題を克服すること。SNNはバイナリでイベント駆動のスパイクトレインを必要とするためである。
• 生成品質が等価な人工ニューラルネットワーク（ANN）VAEと同等またはそれを上回る、完全にSNNベースの変分オートエンコーダー（VAE）を構築すること。
• サンプリングおよび潜在空間モデリングにおいて浮動小数点演算を排除することで、神経形状ハードウェア上での効率的かつ低消費電力な推論を可能にすること。

提案手法

• 自己回帰的ベルヌーイスパイクサンプリングを提案：自己回帰的SNNを用いて、潜在スパイクトレインの事前分布および事後分布をベルヌーイ過程としてモデリングする。
• 入力画像を処理し、バイナリスパイクトレインを用いて再構築するSNNベースのエンコーダーおよびデコーダー・ネットワークを採用する。
• 推論中に、神経形状ハードウェア上の乱数生成器を用いて、ベルヌーイ分布に従う潜在スパイクトレインからサンプリングする。
• 訓練の安定化と潜在空間における分離性の向上を図るため、MMDカーネルに事後シフト（PSP）を適用する。
• 潜在空間をバイナリスパイクイベントの系列としてモデル化することで、浮動小数点演算を回避し、神経形状デバイスとの互換性を確保する。
• VAE損失関数における正則化子として、カルバック・ライブラー（KLD）または最大平均差分（MMD）を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 完全にスパキングVAEを、ハイブリッドなANNコンponentsを一切含まずに、SNNレイヤーのみで構築できるか？
• RQ2 自己回帰的ベルヌーイスパイクサンプリングは、SNNと互換性があり、潜在空間を効果的にモデル化することで、高品質な画像生成を可能にするか？
• RQ3 提案されたFSVAEは、標準ベンチマークにおいて、等価なANNベースのVAEと同等またはそれを上回る画像生成品質を達成するか？
• RQ4 特に神経形状ハードウェアにデプロイした場合に、FSVAEの計算コストおよび推論速度は、ANN VAEと比較してどうなるか？
• RQ5 離散的スパイクベースの潜在変数は、後続の崩壊を防ぎ、より意味的で分離可能な表現をもたらすか？

主な発見

• MNIST、FashionMNIST、CIFAR10、CelebAのすべてのデータセットにおいて、FSVAEは等価なANN VAEをインセプションスコアの面で上回り、より高品質な画像生成を示している。
• MNISTおよびFashionMNISTでは、FSVAEがANN VAEよりも低いフレシェインセプション距離（FID）を達成しており、実画像との分布的類似性が優れていることを示している。
• CIFAR10では、FIDおよびインセプションスコアを含むすべての指標で、FSVAEが優れたパフォーマンスを示しており、強力な生成品質を裏付けている。
• CelebAでは、MMD損失にカーネルにPSPを適用した場合、FSVAEがすべての設定の中で最低のFIDを達成しており、潜在空間品質の向上を確認している。
• 計算コストは大幅に削減されており、乗算回数はANNの7.4×10⁹に対して5.6×10⁸にまで低下し、神経形状ハードウェア上ではSNN推論が約100倍高速になると予想される。
• 潜在表現の最適なタイムステップは16であり、チャネル乗数k=20で最良のFIDが達成されたことから、ハイパーパrameter選択に対して高いロバストネスを示している。