[論文レビュー] Toward Computation and Memory Efficient Neural Network Acoustic Models with Binary Weights and Activations

Liang Lu|arXiv (Cornell University)|Jun 28, 2017

Speech Recognition and Synthesis参考文献 22被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークの音声モデルを二値重みおよび二値活性化で訓練することで、メモリ使用量を著しく削減し、計算を高速化する手法を提案する。実数値の重みと活性化を{-1, +1}または{0, 1}の値に置き換えることで、行列乗算が高速なビット単位の演算および加算に置き換えられ、リソース制限のあるデバイス上での効率的な推論が可能になる。本手法はWSJおよびAMIデータセットにおいて競争力のあるWERを達成しており、半確率的二値化を用いる二値重みモデルでは、AMIデータセットで約1%の絶対的WER低減が達成された。

ABSTRACT

Neural network acoustic models have significantly advanced state of the art speech recognition over the past few years. However, they are usually computationally expensive due to the large number of matrix-vector multiplications and nonlinearity operations. Neural network models also require significant amounts of memory for inference because of the large model size. For these two reasons, it is challenging to deploy neural network based speech recognizers on resource-constrained platforms such as embedded devices. This paper investigates the use of binary weights and activations for computation and memory efficient neural network acoustic models. Compared to real-valued weight matrices, binary weights require much fewer bits for storage, thereby cutting down the memory footprint. Furthermore, with binary weights or activations, the matrix-vector multiplications are turned into addition and subtraction operations, which are computationally much faster and more energy efficient for hardware platforms. In this paper, we study the applications of binary weights and activations for neural network acoustic modeling, reporting encouraging results on the WSJ and AMI corpora.

研究の動機と目的

• リソース制限のある組み込みデバイスへの深層ニューラルネットワーク音声モデルのデプロイを可能にするために、メモリ容量と計算コストを削減すること。
• 大ボキャブラリー音声認識における二値重みおよび二値活性化を持つニューラルネットワークの実現可能性と性能を調査すること。
• 二値ニューラルネットワークで一般的に見られる学習発散問題を緩和する実用的な学習アルゴリズムを開発すること。
• 半確率的二値化やしきい値ベースの活性化二値化を含む、異なる二値化戦略の影響を評価すること。
• 音声認識の文脈において、(-1, +1)と(0, 1)のような異なる活性化範囲の性能比較を行うこと。

提案手法

• 温度パラメータ制御のシグモイド関数を用いた確率的近似により、離散値を介したバックプロパゲーションを可能にする重みの二値化。
• ストレートスラッシュ推定法を用いて、二値活性化関数を介した勾配のバックプロパゲーションを可能にし、エンドツーエンドの学習を実現。
• 学習可能な温度パラメータpを用いた半確率的二値化を適用し、訓練中に実数値から二値への段階的移行を実現。
• 学習可能なしきい値kを用いた、活性化のしきい値ベースの二値化。異なる活性化範囲に対して別々の最適化を実施。
• 勾配の流れを改善するため、ハードシグモイド近似を用いた変更版ReLUに類似した活性化関数の採用。
• 最適化の安定化を図るため、バイナリモデルではベースライン（0.008）よりも低い初期学習率（0.001）を採用。

実験結果

リサーチクエスチョン

• RQ1 大ボキャブラリー音声認識タスクにおいて、二値重みおよび二値活性化を効果的に使用できるか？
• RQ2 温度パラメータpを用いた半確率的二値化が、モデルの収束性および性能に与える影響は何か？
• RQ3 異なる活性化範囲（例：(-1, +1) 対 (0, 1)）が、モデルの精度および学習安定性に与える影響は何か？
• RQ4 活性化のしきい値ベースの二値化が、認識性能および学習ダイナミクスに与える影響は何か？
• RQ5 両方の重みと活性化を二値化したモデルが収束しないのはなぜか？背後にある最適化の課題は何か？

主な発見

• AMIデータセットにおいて、p = 0.01の半確率的二値化により、評価セットのWERがベースラインと比較して約1%絶対的に低減した。
• p = 0.01の二値重みモデルは、AMIデータセットの開発セットで29.6%、評価セットで31.7%のWERを達成した。
• k=1のとき、(0,1)範囲の二値活性化は(-1,+1)よりも顕著に優れた性能を示し、シグモイド初期化ネットワークとの相性が良いことが示唆された。
• (0,1) 二値化では、しきい値kの増加に伴い性能が著しく低下したが、これは負の入力に対する非対称な近似誤差のためと推定された。
• 2048個の隠れユニットを有する二値ニューラルネットワークでは、両方の重みと活性化を二値化したモデルは収束しなかった。これは、共同二値化における顕著な最適化の課題を示している。
• WSJ1では、開発セットおよび評価セットの両方で一貫したWERの改善が得られなかった。これはデータ分布の不一致に起因する可能性が高く、このデータセットからの強い結論は得られなかった。