[論文レビュー] Whetstone: A Method for Training Deep Artificial Neural Networks for Binary Communication

William Severa, Craig M. Vineyard+3 more|arXiv (Cornell University)|Oct 26, 2018

Advanced Memory and Neural Computing参考文献 33被引用数 25

ひとこと要約

Whetstoneは、精度を損なうことなく、深層ニューラルネットワークが二値のスパイクに類似した通信を使用できるようにする新しいトレーニング手法である。独自のバックプロパゲーションの変更を繰り返し適用することで、ネットワークの活性化を段階的に鋭くすることで、低消費電力のニューロモーフィックハードウェアと互換性のあるモデルを生成する。その性能は、フル精度ネットワークと同等である。

ABSTRACT

This paper presents a new technique for training networks for low-precision communication. Targeting minimal communication between nodes not only enables the use of emerging spiking neuromorphic platforms, but may additionally streamline processing conventionally. Low-power and embedded neuromorphic processors potentially offer dramatic performance-per-Watt improvements over traditional von Neumann processors, however programming these brain-inspired platforms generally requires platform-specific expertise which limits their applicability. To date, the majority of artificial neural networks have not operated using discrete spike-like communication. We present a method for training deep spiking neural networks using an iterative modification of the backpropagation optimization algorithm. This method, which we call Whetstone, effectively and reliably configures a network for a spiking hardware target with little, if any, loss in performance. Whetstone networks use single time step binary communication and do not require a rate code or other spike-based coding scheme, thus producing networks comparable in timing and size to conventional ANNs, albeit with binarized communication. We demonstrate Whetstone on a number of image classification networks, describing how the sharpening process interacts with different training optimizers and changes the distribution of activity within the network. We further note that Whetstone is compatible with several non-classification neural network applications, such as autoencoders and semantic segmentation. Whetstone is widely extendable and currently implemented using custom activation functions within the Keras wrapper to the popular TensorFlow machine learning framework.

研究の動機と目的

• 深層ニューラルネットワークを、二値のスパイクに類似した通信を用いてトレーニングする手法を開発し、ニューロモーフィックハードウェアに効率的にデプロイ可能にする。
• 顕著な性能低下を伴わずに、深層学習システムの通信および計算コストを低減する。
• 従来の深層学習フレームワークとスパイクニューラルネットワークハードウェアの間のギャップを埋め、KerasおよびTensorFlowとの互換性を維持する。
• 標準的な深層学習ワークフローを用いて、埋め込み型およびリソース制限のあるプラットフォームで低精度・低消費電力の推論を可能にする。
• ユーザーの干渉を最小限に抑え、即座に使えるソリューションとして、トレーニング済みのANNをニューロモーフィックアクセラレータに適したネットワークに変換可能にする。

提案手法

• Whetstoneは、各層の活性化関数を段階的に二値の閾値に鋭くするように、独自に変更されたバックプロパゲーションアルゴリズムを用いる。
• 「鋭さ」の段階と「待機」の段階を制御するステートベースのトレーニングループを採用し、各エポックごとの活性化の鋭さの向上レートを制御する。
• 鋭さのプロセスはバッチごとに適用され、徐々で安定した収束が可能であり、ユーザーが定義した鋭さレート（1.0以下）を各層・各エポックごとに設定可能である。
• 標準的なReLUやシグモイド活性化関数の代わりに、パラメータ化されたスパイク型バージョンに置き換えるカスタムKeras互換レイヤーを導入し、二値通信を可能にする。
• トレーニングパイプラインに鋭さコールバックを統合し、鋭さスケジュールを動的または手動で制御可能にする。
• 最終的なネットワーク出力は、ニューロモーフィックハードウェアやホスト側の推論に適した、学習を行わないソフトマックス層またはウィンナー・トゥー・アール・デコーディングにより符号化される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、分類精度を維持したまま、二値のスパイクに類似した通信を用いてトレーニング可能だろうか？
• RQ2 反復的な活性化の鋭さが、深層ネットワークのトレーニングダイナミクスおよび収束にどのように影響するか？
• RQ3 Whetstoneは、異なるネットワークアーキテクチャや最適化アルゴリズムに適用した場合、どの程度の性能を維持できるか？
• RQ4 Whetstoneは、プラットフォーム固有の知識を必要とせずに、既存の深層学習ワークフローにスムーズに統合可能だろうか？
• RQ5 鋭さレートおよびトレーニングモード（均一 vs. ボトムアップ）が、ネットワークの性能および収束に与える影響はどの程度か？

主な発見

• Whetstoneは、フル精度モデルと比較して最小限の性能損失で、1タイムステップの二値通信を用いた深層ニューラルネットワークの実現を可能にする。
• この手法は、標準的なKerasおよびTensorFlowワークフローと互換性を保ち、ユーザーがなじみのあるツールやハイパーパrameterを用いてモデルをトレーニング可能である。
• 異なるトレーニング最適化アルゴリズムは、鋭さプロセスと異なる方法で相互作用し、ネットワーク内の活動分布に影響を与える。
• 鋭さプロセスは、MNIST、Fashion-MNIST、CIFAR、COCOなど複数のデータセットで安定しており、画像分類タスクに広く一般化可能であることが示された。
• Whetstoneは分類タスクにとどまらず、オートエンコーダーやセマンティックセグメンテーションなど、非分類タスクにも対応可能であり、分類を越えた幅広い適用性を示している。
• 直接リードインテグレート・アンド・ファイア（LIF）モデルに変換可能であるため、スパイクニューロモーフィックハードウェアへのデプロイが可能で、低消費電力の推論が実現できる。