[論文レビュー] Sigma Delta Quantized Networks

Peter O’Connor, Max Welling|arXiv (Cornell University)|Nov 7, 2016

Advanced Neural Network Applications参考文献 12被引用数 11

ひとこと要約

この論文では、ニューロンの活性化値の完全な値の代わりに、層間で伝送される離散的変化のみを用いることで、ディープラーニングにおける計算コストを低減する方法、Sigma-Delta量子化ネットワークを提案する。時間的差分を丸め、精度と計算のトレードオフを最適化することで、動画データにおいて計算量を最大10倍まで削減しつつ、高い分類精度を維持する。

ABSTRACT

Deep neural networks can be obscenely wasteful. When processing video, a convolutional network expends a fixed amount of computation for each frame with no regard to the similarity between neighbouring frames. As a result, it ends up repeatedly doing very similar computations. To put an end to such waste, we introduce Sigma-Delta networks. With each new input, each layer in this network sends a discretized form of its change in activation to the next layer. Thus the amount of computation that the network does scales with the amount of change in the input and layer activations, rather than the size of the network. We introduce an optimization method for converting any pre-trained deep network into an optimally efficient Sigma-Delta network, and show that our algorithm, if run on the appropriate hardware, could cut at least an order of magnitude from the computational cost of processing video data.

研究の動機と目的

• 入力フレームの類似性にかかわらず、固定された計算量で各フレームを処理する標準的なディープニューラルネットワークの非効率性に対処すること。
• 動画データにおける時間的冗長性を活用し、ネットワークサイズではなく入力の変化に応じて計算量をスケーリングするネットワークを設計すること。
• 事前学習済みネットワークを、精度の低下を最小限に抑えて計算効率の高いSigma-Deltaネットワークに変換する方法を開発すること。
• 計算量を入力の変化に比例させるようにすることで、分散型またはセンサーベースのニューラルネットワークにおける効率的で非同期の更新を可能にすること。

提案手法

• 事前学習済みのディープネットワークを変更し、全精度の活性化伝播を、連続する入力間の活性化の時間的差分の離散的量子化に置き換える。
• 時間ステップ間の活性化差分に対して丸め操作を導入することで、層間でのスパarsな低精度通信を可能にする。
• 各層ごとにスケールパラメータを適用し、計算コストとネットワーク精度のトレードオフを調整する。
• 再構成誤差と計算コストの両方をバランスさせる微分可能目的関数を用いて、スケールパラメータとネットワーク重みを同時に最適化する。
• 最適化の安定化と丸めによる活性化の崩壊を防ぐために、学習中に一様なランダムノイズを適用する。
• 事前学習済みのVGG-16ネットワークをSigma-Deltaネットワークに変換し、関数を保持しながら計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 入力変化に応じて計算を適応的に調整できるディープニューラルネットワークを、量子化された活性化差分の伝送のみで実現できるか？
• RQ2 事前学習済みネットワークを、精度損失を最小限に抑えてSigma-Deltaネットワークに効率的に変換する方法は何か？
• RQ3 このようなシステムにおける計算コストと精度のトレードオフは何か？ そして、どのように最適化できるか？
• RQ4 このアプローチにより、動画のような時間的冗長性を持つデータにおいて、分類性能を損なわず計算量を大幅に削減できるか？
• RQ5 完全な活性化値ではなく、離散的変化のみを用いるにもかかわらず、ネットワークが関数をどのように維持できるか？

主な発見

• 静的動画セグメント（ほとんど動きがない状態）では、Sigma-Deltaネットワークは元のVGG-16ネットワークと比較して約11倍の計算量削減を達成する。
• より動的な動画セグメントでは、元のネットワークと比較して計算量が約4倍に削減される。
• ILSVRC 2015データセットを用いた実験で、動画データにおいて最大10倍の計算コスト削減が確認された。
• 分類精度は高い水準を維持している：ほぼすべてのフレームにおいて、Sigma-Deltaネットワークの予測結果は元のVGG-16ネットワークのトップ5予測に含まれる。
• 時間tにおける出力は、過去のネットワーク状態に依存せず、現在の入力にのみ依存するが、ネットワーク内部の状態は履歴に依存している。
• 学習中に一様なランダムノイズを追加することで最適化が安定化し、丸めによる活性化値のゼロへの収束を防げる。