[論文レビュー] Rounding Methods for Neural Networks with Low Resolution Synaptic Weights

Lorenz K. Müller, Giacomo Indiveri|arXiv (Cornell University)|Apr 22, 2015

Neural Networks and Applications参考文献 22被引用数 47

ひとこと要約

本稿では、ハイ・リゾリューションなニューラルネットワーク重みを低リソリューションの固定小数点表現にマッピングするための2つの新規手法——ランダム化ラウンドイングとk-meansベースのラウンドイング——を提案する。これらの手法は、標準的なラウンドイングを著しく上回る性能を示す。2ビットの重みでさえも、特にオンラインでのランダム化ラウンドイングまたはオフラインでのk-means圧縮を用いることで、意味のあるネットワーク性能を維持できることが示された。

ABSTRACT

Neural network algorithms simulated on standard computing platforms typically make use of high resolution weights, with floating-point notation. However, for dedicated hardware implementations of such algorithms, fixed-point synaptic weights with low resolution are preferable. The basic approach of reducing the resolution of the weights in these algorithms by standard rounding methods incurs drastic losses in performance. To reduce the resolution further, in the extreme case even to binary weights, more advanced techniques are necessary. To this end, we propose two methods for mapping neural network algorithms with high resolution weights to corresponding algorithms that work with low resolution weights and demonstrate that their performance is substantially better than standard rounding. We further use these methods to investigate the performance of three common neural network algorithms under fixed memory size of the weight matrix with different weight resolutions. We show that dedicated hardware systems, whose technology dictates very low weight resolutions (be they electronic or biological) could in principle implement the algorithms we study.

研究の動機と目的

• ハードウェア実装において、ハイ・リゾリューションなニューラルネットワーク重みを低リソリューションの固定小数点表現に単純ラウンドイングすることで生じる性能劣化を是正すること。
• ニューロモルフィックハードウェアや生物学的システムで見られるような極めて低いシナプス重みリソリューションでも、ニューラルネットワークアルゴリズムが効果的に機能するかを調査すること。
• 重み精度を低下させてもネットワーク性能を保持できるアルゴリズム的マッピング技術を開発すること、特に2ビットまたはバイナリ重みまで低減する場合を想定すること。
• 固定メモリ制約下で、勾配降下法と互換性を持つオンライン（トレーニング中）と、トレーニング後処理のオフライン（後処理圧縮）の両方の解像度低減手法の有効性を比較すること。

提案手法

• オンライン手法としてランダム化ラウンドイング（RR）を用いる：各トレーニングステップで、重みがεグリッド上の最も近い離散値に確率的（確率は近接度に比例）にラウンドされる。
• オフライン手法としてk-meansベースの圧縮を適用する：完全なトレーニング後、学習済み重み行列をk-meansクラスタリングを用いて低リソリューションのコードブックに圧縮し、再構成誤差を最小化する。
• 両手法を、各ステップで重み更新を最も近い解像可能値に単純ラウンドするベースラインのオンラインラウンドイング手法と比較する。
• 確率的ラウンドイング関数を用いる：重み値$ a $に対して、$ |a|/ϵ $ の小数部に応じて、上位または下位のグリッドポイントへのラウンド確率が決定される。
• MNIST、DNA、RBMのデータセットで、2〜8ビットの異なる解像度において、同じメモリ予算（400ビット）を用いて性能を比較し、モデルの精度を評価する。
• 標準ベンチマークを用いて結果を検証する：MNISTにおけるMLP、DNAにおけるNADE、PCD-15トレーニングを用いたMNISTにおけるRBM。

実験結果

リサーチクエスチョン

• RQ1 高度なラウンドイング技術を用いることで、2ビット解像度にまでシナプス重みを低下させた場合、ニューラルネットワークアルゴリズムが許容できる性能を維持できるか？
• RQ2 固定メモリ予算下で、重み精度を低下させた場合、一般的なニューラルネットワークアーキテクチャ（MLP、NADE、RBM）の性能はどのように劣化するか？
• RQ3 トレーニング中に使用するオンラインのランダム化ラウンドイングと、トレーニング後に適用するオフラインk-means圧縮のどちらに性能上の利点があるか？
• RQ4 どの重み解像度で性能が飽和し、さらに精度を高めるコストがメモリの増加に見合うか？
• RQ5 本質的に低リソリューションまたは確率的シナプスを持つニューロモルフィックハードウェアが、標準的なニューラルネットワークアルゴリズムを効果的に実装できるか？

主な発見

• ランダム化ラウンドイングは、標準的なオンラインラウンドイングを著しく上回り、特に低解像度（2〜4ビット）で顕著な性能向上を示し、2ビット精度でも意味のある性能を維持できる。
• k-meansベースのオフライン圧縮手法は、全データセットおよび解像度において、両方のオンライン手法と比較して、最終的なモデル精度が一貫して優れている。
• MNISTにおけるMLPでは、性能が約10ビット解像度で飽和する。それ以上の向上は著しくないため、より大きな隠れ層にメモリを割り当てるほうが効果的である。
• DNAデータセットでは、固定メモリ下でMLPの最適解像度が6ビット/重みであった。これは、精度とモデル容量のトレードオフを示している。
• ランダム化ラウンドイングを用いてトレーニングされたRBMでは、2ビット重みでも認識可能な数字のサンプルが得られた。これは、低リソリューション重みでも意味のある特徴を捉えることができる可能性を示している。
• 本研究は、2ビット重みが機能的なニューラルネットワーク動作に十分であることを示しており、バイナリシナプスがニューロモルフィックハードウェアおよび生物学的ニューラルネットワークモデルにおいて実現可能であることを支持する。