[論文レビュー] Deep counter networks for asynchronous event-based processing

Jonathan Binas, Giacomo Indiveri+1 more|arXiv (Cornell University)|Nov 2, 2016

Advanced Memory and Neural Computing参考文献 6被引用数 4

ひとこと要約

本稿では、深層カウンターニューラルネットワーク—最小限のスパikingニューラルネットワークであり、乗算を除く加算と比較演算のみを用いて、顕著に低い計算コストで最先端のMNIST分類精度を達成する—を提案する。従来の乗算をイベント駆動型カウンターニューロンに置き換えることで、低消費電力で非同期的かつスパースな処理が可能となり、従来の変換ベースのスパikingネットワークよりも高速に収束し、必要な演算回数も少ない。

ABSTRACT

Despite their advantages in terms of computational resources, latency, and power consumption, event-based implementations of neural networks have not been able to achieve the same performance figures as their equivalent state-of-the-art deep network models. We propose counter neurons as minimal spiking neuron models which only require addition and comparison operations, thus avoiding costly multiplications. We show how inference carried out in deep counter networks converges to the same accuracy levels as are achieved with state-of-the-art conventional networks. As their event-based style of computation leads to reduced latency and sparse updates, counter networks are ideally suited for efficient compact and low-power hardware implementation. We present theory and training methods for counter networks, and demonstrate on the MNIST benchmark that counter networks converge quickly, both in terms of time and number of operations required, to state-of-the-art classification accuracy.

研究の動機と目的

• ハードウェア実装における従来の深層ニューラルネットワークの高い計算コスト、特に乗算の問題を解決すること。
• フレームベースのネットワークと同等の精度を維持しながら、効率的で非同期的かつイベント駆動型の計算を可能にするスパikingニューラルネットワークモデルの開発。
• 従来のスパikingネットワーク変換手法で一般的な近似誤差を回避し、フレームベース推論と正確に等価となるようにすること。
• 加算と比較演算のみを用いて、コンパクトで低消費電力なハードウェア実装を可能とし、イベントベースのセンサーやリアルタイム処理に適した設計。

提案手法

• 乗算を避けるために加算と比較のみを用いる最小限のスパikingユニットとしてカウンターニューロンを提案。
• ニューロン出力がネット入力を閾値を超えると1、それ以外は0となるバイナリ活性化モデルを採用し、バックプロパゲーションのための微分可能シグモイド近似を用いて学習。
• 動的範囲を向上させ、必要な演算回数を削減するために、離散化されたReLU関数を用いた非バイナリ活性化へのモデル拡張。
• 勾配計算のための高分解能重みと活性化を用いたフレームベースの学習手順を採用し、従来のネットワークと等価性を保証。
• 入力データを非同期的かつ段階的に処理し、十分な入力イベントが到着した段階ですぐに出力を生成。
• 学習段階では高分解能パラメータに基づく重み更新を用い、推論段階では低精度整数演算を用いる。

実験結果

リサーチクエスチョン

• RQ1 乗算を一切用いず、近似誤差のない正確な等価性を保ったまま、フレームベースの深層ネットワークの推論を再現できるスパキングニューラルネットワークを設計できるか？
• RQ2 加算と比較演算のみを用いたイベントベース処理が、顕著に少ない演算回数でMNISTで最先端の精度を達成できるか？
• RQ3 カウンターネットワークの非同期的かつイベント駆動型の性質は、従来のフレームベースネットワークと比較して推論速度と計算効率にどのように影響を与えるか？
• RQ4 カウンターニューロンモデルを非バイナリ活性化に拡張できるか。その際、計算効率と精度を維持できるか？
• RQ5 イベントベース処理下で、全結合型と畳み込み型のアーキテクチャにおいてネットワーク性能にどのような差が生じるか？

主な発見

• カウンターネットワークは、乗算を一切用いず、加算と比較演算のみで最先端のMNIST分類精度を達成した。
• 離散化ReLUに基づく拡張型カウンターニューロンモデルは、1枚の画像あたり必要な演算回数を50万未満に削減し、従来の変換ベース手法が100万回以上を要するのに対し、優れた性能を示した。
• 入力が到着してから数秒以内に正しく分類が完了し、テスト画像の99％が全入力パターンが提示される前に分類が完了した。
• バイナリニューロンを用いた基本的カウンターモデルは、飽和によりほとんどのイベントを初期に発生させるが、ReLUに類似したダイナミクスを持つ拡張型モデルは、徐々に活動を高めていくため、より効率的な動作が可能となった。
• アーキテクチャの違いにもかかわらず、全結合型と畳み込み型の両方のカウンターネットワークは、定量的に類似した性能トレンドを示し、より深いネットワークは同等の精度を達成するためにより多くの演算を要した。
• 本システムは、低遅延とスパースな更新を実現し、イベントベースセンサーや低消費電力でコンパクトなハードウェアに最適なリアルタイム推論を可能にした。