[論文レビュー] Delta Networks for Optimized Recurrent Network Computation

Daniel Neil, Jun Haeng Lee+2 more|arXiv (Cornell University)|Dec 16, 2016

Advanced Neural Network Applications参考文献 22被引用数 41

ひとこと要約

この論文では、変化がしきい値を超えた場合にのみニューロンの活性化を伝送する、新しいRNNアーキテクチャ「デルタネットワーク」を提案している。自然入力の時間的安定性を活用することで、メモリアクセスと計算を大幅に削減し、特に変化がゆっくりな動画や音声処理タスクにおいて、精度損失をほとんど許容しつつ100倍の高速化を達成している。

ABSTRACT

Many neural networks exhibit stability in their activation patterns over time in response to inputs from sensors operating under real-world conditions. By capitalizing on this property of natural signals, we propose a Recurrent Neural Network (RNN) architecture called a delta network in which each neuron transmits its value only when the change in its activation exceeds a threshold. The execution of RNNs as delta networks is attractive because their states must be stored and fetched at every timestep, unlike in convolutional neural networks (CNNs). We show that a naive run-time delta network implementation offers modest improvements on the number of memory accesses and computes, but optimized training techniques confer higher accuracy at higher speedup. With these optimizations, we demonstrate a 9X reduction in cost with negligible loss of accuracy for the TIDIGITS audio digit recognition benchmark. Similarly, on the large Wall Street Journal speech recognition benchmark even existing networks can be greatly accelerated as delta networks, and a 5.7x improvement with negligible loss of accuracy can be obtained through training. Finally, on an end-to-end CNN trained for steering angle prediction in a driving dataset, the RNN cost can be reduced by a substantial 100X.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNNs）が、各タイムステップで状態を保存・取得する必要があるため、高い計算コストとメモリコストを負っているという問題を軽減すること。
• 音声や動画のような自然入力の時間的安定性を活用し、活性化が時間経過とともにゆっくりと変化することを活かすこと。
• 訓練に最適化されたデルタネットワーク手法を開発し、メモリアクセスと計算操作を最小限に抑えつつ、高い精度を維持すること。
• 活性化の変化がしきい値未満である場合に更新をスキップすることで、RNNの推論を顕著に高速化できることを示すこと。

提案手法

• デルタネットワークは、標準的なRNNを再定式化し、密行列-ベクトル乗算を、活性化の変化がしきい値を超えるニューロンのみを更新するスパースな演算に置き換える。
• 変化が顕著でない場合の一時的誤差を抑えるために、しきい値に基づくデルタメカニズムを採用し、誤差の蓄積を防ぐ。
• スパarsityを制御する有限のしきい値Θを用い、意味のある変化が発生した場合にのみ計算とメモリアクセスが発生するようにする。
• トレーニング中に、デルタ更新制約下でも良好に動作するよう最適化するため、変更されたバックプロパゲーションアルゴリズムを適用する。
• 重み行列をオンチップメモリに格納し、ニューロンのデルタがしきい値を超えた場合にのみアクセスする。
• TIDIGITS、Wall Street Journal、comma.aiドライブデータセットの3つのフレームワークで評価し、精度の低下を最小限に抑えつつ顕著な高速化を達成した。

実験結果

リサーチクエスチョン

• RQ1 活性化の変化がしきい値を超えるニューロンのみを更新することで、RNNの計算コストとメモリコストを削減し、高速化できるか？
• RQ2 しきい値Θの選択が、デルタネットワークRNNにおけるスピードアップと精度のトレードオフに与える影響はいかほどか？
• RQ3 RNNをエンドツーエンドでデルタネットワークとして訓練することで、実世界の時間的データにおいて高い精度を維持しつつ、顕著な高速化を達成できるか？
• RQ4 音声や動画のような自然入力における時間的冗長性を、RNNの推論コスト低減にどの程度活用できるか？
• RQ5 RNNとCNNの間で活性化と重みのメモリ要件に差があることから、デルタネットワークアプローチはRNNに対してCNNよりも効果的であるか？

主な発見

• TIDIGITS音声認識ベンチマークでは、最適化されたトレーニングを経て、計算コストを9倍削減し、精度損失はほとんど認められなかった。
• 大規模なWall Street Journal音声認識タスクでは、デルタネットワークとしての再トレーニングにより、5.7倍の高速化が達成され、精度の低下は最小限に抑えられた。
• エンドツーエンドのドライブポリシーネットワークでは、視覚特徴の時間的安定性が高いため、RNN部が100倍の高速化を達成したが、システム全体の高速化は、支配的なCNNコストによって制限された。
• 予測誤差を増加させることなく顕著な高速化が達成され、comma.aiドライブデータセットでは、Θが0.1〜0.25の範囲で100倍の高速化が観察された。
• RNNはすべての中間状態を保存する必要があるため、CNNよりもデルタベースの最適化に適しており、デルタネットワークアプローチはRNNに対してより効果的である。
• 本研究では、実世界の入力における時間的冗長性と、デルタネットワークのための強固なトレーニングを組み合わせることで、顕著な効率的向上が可能であることを示した。