[論文レビュー] Recurrent Neural Networks With Limited Numerical Precision

J. C. Ott, Zhouhan Lin+3 more|arXiv (Cornell University)|Aug 24, 2016

Neural Networks and Applications参考文献 15被引用数 50

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNN）における学習時の低精度重み量子化を調査し、確率的および決定的バイナリ化、トレナリゼーション、pow2-トレナリゼーション、および新規の指数量子化手法を評価している。トレナリゼーションおよびその変種がバイナリ化を著しく上回り、音声および言語処理タスクでフル精度モデルと同等またはそれ以上の精度を達成しており、低消費電力ハードウェアへの効率的なデプロイを可能にしている。

ABSTRACT

Recurrent Neural Networks (RNNs) produce state-of-art performance on many machine learning tasks but their demand on resources in terms of memory and computational power are often high. Therefore, there is a great interest in optimizing the computations performed with these models especially when considering development of specialized low-power hardware for deep networks. One way of reducing the computational needs is to limit the numerical precision of the network weights and biases. This has led to different proposed rounding methods which have been applied so far to only Convolutional Neural Networks and Fully-Connected Networks. This paper addresses the question of how to best reduce weight precision during training in the case of RNNs. We present results from the use of different stochastic and deterministic reduced precision training methods applied to three major RNN types which are then tested on several datasets. The results show that the weight binarization methods do not work with the RNNs. However, the stochastic and deterministic ternarization, and pow2-ternarization methods gave rise to low-precision RNNs that produce similar and even higher accuracy on certain datasets therefore providing a path towards training more efficient implementations of RNNs in specialized hardware.

研究の動機と目的

• フィeedフォワードおよび畳み込みネットワークで使用された低精度重み量子化技術が、RNNの学習段階でも効果的に適用可能かどうかを調査すること。
• 3つの主要なRNNアーキテクチャ（バニラRNN、GRU、LSTM）における数値精度の低下が性能に与える影響を評価すること。
• バイナリ化、トレナリゼーション、pow2-トレナリゼーション、指数量子化といった量子化手法の中で、RNNで安定的かつ正確な学習をもたらすものを特定すること。
• 精度の低減によってメモリおよび計算要件を最小限に抑えることで、RNNを低消費電力埋め込みハードウェアに効率的にデプロイすること。
• 提案された量子化手法のオープンソースコードを提供し、再現可能性および量子化RNN学習分野におけるさらなる研究を支援すること。

提案手法

• 4種類の重み量子化手法を適用：確率的および決定的バイナリ化（BinaryConnect）、トレナリゼーション（TernaryConnect）、pow2-トレナリゼーション、および新規の指数量子化手法。
• 勾配の蓄積のため、学習中に重みおよびバイアスのフル精度コピーを維持し、前方および後方伝搬には低精度バージョンを使用。
• 確率的バージョンでは低精度重みの生成に確率的サンプリングを、決定的バージョンではしきい値処理を用いる。
• ベンチマークデータセット上で、標準的なRNNアーキテクチャ（バニラRNN、GRU、LSTM）と標準的な学習プロトコル（Adam最適化、Glorot初期化）を用いて評価。
• 性能評価には、音声認識のための語誤り率（WER）、言語モデリングのための交差エントロピーおよびBPC（ビット/文字）という標準指標を用いる。
• 指数量子化を新手法として導入し、実数値の重みを指数スケーリングに基づく離散値にマッピングすることで、RNNにおける安定性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 確率的および決定的重みバイナリ化は、RNNの学習段階に適用可能であり、性能の著しい低下を伴わずに運用可能か？
• RQ2 トレナリゼーションおよびpow2-トレナリゼーション手法は、大規模データセット上でもRNNで安定的かつ正確な学習を達成可能か？
• RQ3 なぜバイナリ化はRNNでは失敗するのに対し、トレナリゼーションは成功するのか？また、重みの分散がこの差異に果たす役割は何か？
• RQ4 低精度RNNは、特に過学習の状態において、フル精度ベースラインと同等またはそれ以上の性能を達成可能か？
• RQ5 量子化レベルの選択（例：-1,0,1 と -0.5,0,0.5）が、RNNの収束性および精度に与える影響は何か？

主な発見

• バイナリ化はRNNでは失敗する。特にGRUおよびLSTMにおいて、確率的バイナリ化は不安定な学習と悪い収束を引き起こす。
• トレナリゼーションおよびその変種（pow2-トレナリゼーション、指数量子化）は、TIDIGITSおよびPTBデータセットで、フル精度ベースラインと同等またはそれ以上の精度を達成している。
• WSJ音声認識データセットでは、pow2-トレナリゼーションを施したLSTMモデルが87エポック目で語誤り率（WER）10.49％を達成し、フル精度ベースライン（60エポック目で11.16％）を上回った。
• TIDIGITSデータセットにおける確率的トレナリゼーションでは、トップ1精度が98.23％に達し、フル精度ベースラインとほぼ同等であり、PTBデータセットのBPCにおいてもフル精度ベースラインを0.133 BPC上回った。
• トレナリゼーションの成功は、バイナリ化と比較して重みの和の分散が低減されていることに起因しており、これはRNNにおいて重みが時間的に繰り返し使用されるという点で特に重要である。
• 指数量子化は強力な性能を示し、特にTIDIGITSの実験で顕著であったことから、RNN量子化の有望な代替手法であると考えられる。