[論文レビュー] Ternary Residual Networks

Abhisek Kundu, Kunal Banerjee+5 more|arXiv (Cornell University)|Jul 15, 2017

Advanced Neural Network Applications参考文献 23被引用数 6

ひとこと要約

本稿では、摂動理論に基づき感受性の高い層に低精度の残差接続を追加することで、8ビット未塔のDNNの性能を向上させる三値残差ネットワークを提案する。この手法により、ResNet-101を用いてモデルサイズを1.6倍小さくし、乗算回数を26倍削減し、8-8ネットワークと比較して最大2倍のパワーパフォーマンス向上を達成しながら、ImageNet上で約1%の精度低下に抑え、実行時における精度スケーリングが可能になる。

ABSTRACT

Sub-8-bit representation of DNNs incur some discernible loss of accuracy despite rigorous (re)training at low-precision. Such loss of accuracy essentially makes them equivalent to a much shallower counterpart, diminishing the power of being deep networks. To address this problem of accuracy drop we introduce the notion of extit{residual networks} where we add more low-precision edges to sensitive branches of the sub-8-bit network to compensate for the lost accuracy. Further, we present a perturbation theory to identify such sensitive edges. Aided by such an elegant trade-off between accuracy and compute, the 8-2 model (8-bit activations, ternary weights), enhanced by ternary residual edges, turns out to be sophisticated enough to achieve very high accuracy ($\sim 1\%$ drop from our FP-32 baseline), despite $\sim 1.6 imes$ reduction in model size, $\sim 26 imes$ reduction in number of multiplications, and potentially $\sim 2 imes$ power-performance gain comparing to 8-8 representation, on the state-of-the-art deep network ResNet-101 pre-trained on ImageNet dataset. Moreover, depending on the varying accuracy requirements in a dynamic environment, the deployed low-precision model can be upgraded/downgraded on-the-fly by partially enabling/disabling residual connections. For example, disabling the least important residual connections in the above enhanced network, the accuracy drop is $\sim 2\%$ (from FP32), despite $\sim 1.9 imes$ reduction in model size, $\sim 32 imes$ reduction in number of multiplications, and potentially $\sim 2.3 imes$ power-performance gain comparing to 8-8 representation. Finally, all the ternary connections are sparse in nature, and the ternary residual conversion can be done in a resource-constraint setting with no low-precision (re)training.

研究の動機と目的

• 低精度微調整を行っても顕著な精度低下が生じる8ビット未塔のDNNにおける精度低下を是正すること。
• 完全な再トレーニングなしに、リソース制約のある環境でも高精度で低精度推論を実現すること。
• 残差接続の有効・無効切り替えによって、実行時における精度スケーリングを動的に可能とすること。
• 感受性の高いネットワーク分岐を特定するための摂動理論を開発すること。
• 8-8精度ベースラインと比較して優れたパワーパフォーマンストレードオフを達成すること。

提案手法

• 本手法は、8ビット未塔のネットワークの感受性の高いブランチに低精度の残差エッジを追加することで、精度損失を補償する三値残差接続を導入する。
• 計算コストを最小限に抑えつつ最大の精度向上をもたらす層を特定するため、摂動理論を構築する。
• 各層の摂動しきい値（εₖ）に対して、計算負荷に配慮した許容範囲選択を採用し、精度と効率の両立を最適化する。
• 固定小数点量子化を用いてブロックサイズN（例：N=64）で三値残差ブロックを構築し、スパースかつ効率的な推論を可能にする。
• デプロイ後、残差接続の有効・無効切り替えを制御することで、動的かつリアルタイムなモデルのアップグレード・ダウングレードを実現する。
• FP-32から三値残差ネットワークへの変換プロセスは、低精度微調整を一切行わずに行われ、リソース制約のある環境へのデプロイに適している。

実験結果

リサーチクエスチョン

• RQ1 感受性の高いネットワークブランチに低精度の残差接続を追加することで、8ビット未塔のDNNがFP32に近い精度を達成できるか？
• RQ2 摂動理論は、事前トレーニング済みネットワークにおいて、最適な残差エッジ挿入位置をどのように導くことができるか？
• RQ3 8-8精度ベースラインと比較して、三値残差ネットワークのパワーパフォーマンスおよびモデル効率はどの程度向上するか？
• RQ4 実行時において、残差接続の有効・無効切り替えによって、低精度モデルの精度を動的に調整できるか？
• RQ5 低精度微調整を一切行わず、フル精度DNNを三値残差ネットワークに変換することは可能か？

主な発見

• 8-2モデル（8ビット活性化、三値重み）に三値残差エッジを追加した場合、ResNet-101を用いてImageNetでFP32ベースラインと比較して約1%の精度低下に抑えられる。
• 強化された8-2モデルでは、モデルサイズが1.6倍小さくなり、乗算回数が26倍削減され、8-8表現と比較して最大2倍のパワーパフォーマンス向上を達成する。
• 最も重要な残差接続を無効化することで、モデルサイズが1.9倍小さくなり、乗算回数が32倍削減され、FP32から約2%の精度低下に抑えられる。
• 実行時における精度要件に応じて、残差接続の有効・無効を動的に切り替えることで、実行時における精度スケーリングが可能になる。
• 低精度微調整を一切行わず、三値残差ネットワークへの変換が可能であり、リソース制約のある環境へのデプロイに適している。
• 計算負荷に配慮した摂動選択により、全体の計算量を削減しつつ、約1%の精度低下を維持でき、ブロックサイズN=64の場合、パワーパフォーマンス向上はX∼5.5程度と推定される。