[論文レビュー] Precision Scaling of Neural Networks for Efficient Audio Processing

Jong Hwan Ko, Josh Fromm+3 more|arXiv (Cornell University)|Dec 4, 2017

Speech and Audio Processing参考文献 7被引用数 13

ひとこと要約

本稿では、重みおよびニューロンのビット幅を低減することで、効率的な音声処理を実現する深層ニューラルネットワーク（DNN）の精度スケーリングを提案する。分布に配慮したビット割り当て方式を用いて量子化誤差を最小化する。最適な構成である1ビット重みおよび2ビットニューロン（W1/N2）は、3.14％の性能低下で最大30倍の高速化を達成し、音声活動検出（VAD）においてWebRTC VADを速度と精度の両面で上回る性能を発揮する。

ABSTRACT

While deep neural networks have shown powerful performance in many audio applications, their large computation and memory demand has been a challenge for real-time processing. In this paper, we study the impact of scaling the precision of neural networks on the performance of two common audio processing tasks, namely, voice-activity detection and single-channel speech enhancement. We determine the optimal pair of weight/neuron bit precision by exploring its impact on both the performance and processing time. Through experiments conducted with real user data, we demonstrate that deep neural networks that use lower bit precision significantly reduce the processing time (up to 30x). However, their performance impact is low (< 3.14%) only in the case of classification tasks such as those present in voice activity detection.

研究の動機と目的

• リアルタイム音声処理アプリケーションにおける深層ニューラルネットワーク（DNN）の高い計算およびメモリ要件に対処すること。
• 音声タスクにおける推論速度とモデル性能に与える重みおよびニューロンのビット精度の変動の影響を調査すること。
• 音声活動検出（VAD）および音声強調の両方のタスクにおいて、処理効率と精度のバランスを取る最適なビット精度設定を同定すること。
• 精度スケーリング中に量子化誤差を最小化する分布に配慮したビット割り当て手法を開発すること。
• 精度スケーリングが分類タスク（例：VAD）において回帰タスク（例：音声強調）よりも効果的であるかどうかを評価すること。

提案手法

• 重みおよびニューロン値のグローバルな分布に基づいてビットを割り当てるため、残差誤差平均バイナリゼーション手法を採用し、量子化誤差を最小化する。
• 各ビット割り当てが、元の値分布の平均距離から導かれる近似値に対応するビット割り当て方式を用いた。
• 1ビットネットワークでは32ビット演算をXNORおよびビットカウント演算に置き換え、ビットレベルの並列処理により高速な推論を実現した。
• 変数精度DNNレイヤーの最適化されたCPUキーナルを活用するため、CNTKフレームワーク内に精度スケーリングを実装した。
• 演算数のカウントとメモリアクセスの利点の観察により、理想の速度向上と実際の速度向上を測定した。実際の速度向上は、効率的なメモリ読み込みのおかげで、しばしば理想値を上回ることが多かった。
• スペクトログラム窓を50％の重複率とハニング窓平滑化を用い、実世界のノイズ混在音声データ上でDNNを学習および評価した。VADには正例ラベル、音声強調にはクリアな音声を正例として用いた。

実験結果

リサーチクエスチョン

• RQ1 音声活動検出および音声強調タスクにおいて、処理時間を最小限に抑えつつ、許容可能な性能を維持するための最適な重みおよびニューロンのビット精度ペアは何か？
• RQ2 ビット精度を低減すると量子化誤差にどのような影響が生じるか。また、分布に配慮したビット割り当て方式は、この誤差を緩和できるか？
• RQ3 精度スケーリングは、音声処理タスクにおけるモデル精度を著しく低下させることなく、推論時間をどの程度短縮できるか？
• RQ4 精度スケーリングは、音声処理において分類タスク（例：VAD）よりも回帰タスク（例：音声強調）に対してより効果的か？
• RQ5 異なるビット幅の組み合わせは、SNR、PESQ、フレーム単位の検出誤差といった主な性能指標にどのように影響を与えるか？

主な発見

• W1/N2構成（1ビット重み、2ビットニューロン）は、VADおよび音声強調タスクの両方で処理時間を30倍短縮した。
• VADタスクにおいて、W1/N2モデルは、最先端のWebRTC VADと比較して誤差率を9.54％低減し、3.7倍高速に動作した。
• VADでは、32ビットの8.20％からW1/N2の11.34％へと誤差率がわずかに上昇したにとどまり、極端な精度スケーリング下でも性能劣化が最小限に抑えられた。
• 音声強調タスクでは、W1/N2モデルがSNRを10.33 dB向上させ、30倍の高速化を達成したが、モデルの回帰タスクにおける低容量のためPESQの向上は限定的だった。
• W2/N4構成は、PESQ向上（0.38）が最も良く、9倍の高速化を達成した。これは、回帰タスクにおける聴覚的品質を確保するには、より高い精度が必要であることを示している。
• 速度向上は、重みのビット幅低減に対して、ニューロンのビット幅低減よりも感受性が高く、重みは事前に量子化され、より効率的にロード可能であるため、メモリアクセスのボトル neck を軽減できる。