[論文レビュー] Resiliency of Deep Neural Networks under Quantization

Wonyong Sung, Sungho Shin+1 more|arXiv (Cornell University)|Nov 20, 2015

Advanced Neural Network Applications参考文献 15被引用数 146

ひとこと要約

本稿は、微調整を用いた極端な重み量子化に対する深層ニューラルネットワーク（DNN）の耐性を調査し、非常に複雑なDNNが三値重み（+1, 0, -1）または2ビット量子化においても高い精度を維持できることを示している。一方で、単純なネットワークは顕著な性能低下を示す。主な貢献は、リソース制約下でのハードウェア効率的なDNN設計を支援するための有効圧縮比（ECR）を導入したことである。

ABSTRACT

The complexity of deep neural network algorithms for hardware implementation can be much lowered by optimizing the word-length of weights and signals. Direct quantization of floating-point weights, however, does not show good performance when the number of bits assigned is small. Retraining of quantized networks has been developed to relieve this problem. In this work, the effects of retraining are analyzed for a feedforward deep neural network (FFDNN) and a convolutional neural network (CNN). The network complexity is controlled to know their effects on the resiliency of quantized networks by retraining. The complexity of the FFDNN is controlled by varying the unit size in each hidden layer and the number of layers, while that of the CNN is done by modifying the feature map configuration. We find that the performance gap between the floating-point and the retrain-based ternary (+1, 0, -1) weight neural networks exists with a fair amount in 'complexity limited' networks, but the discrepancy almost vanishes in fully complex networks whose capability is limited by the training data, rather than by the number of connections. This research shows that highly complex DNNs have the capability of absorbing the effects of severe weight quantization through retraining, but connection limited networks are less resilient. This paper also presents the effective compression ratio to guide the trade-off between the network size and the precision when the hardware resource is limited.

研究の動機と目的

• 浮動小数点表現と低精度重み表現下での浮動小数点DNNと量子化DNNの性能差が、ネットワークの複雑さにどのように影響を受けるかを理解すること。
• 極端な量子化（例：三値または2ビット重み）の後でも、微調整が性能回復にどの程度効果を発揮するかを評価すること。
• 大規模に量子化されたネットワークと中程度に量子化された小さなネットワークを公正に比較できるよう、有効圧縮比（ECR）という指標を開発すること。
• 計算リソースとメモリリソースが制限される状況でのハードウェア効率的なDNN設計のガイドラインを提供すること。
• 大規模DNNに内在する冗長性が、コンactなネットワークよりも量子化ノイズに対してより耐性を示すかどうかを調査すること。

提案手法

• TIMITおよびCIFAR-10データセットを用いた、音声認識用のフィードフォワードDNN（FFDNN）と画像分類用のCNNにおける制御実験。
• 隠れユニット数、層数、特徴マップ構成を変更することで、モデル容量の異なるさまざまなレベルを再現する。
• 微調整を伴う量子化の適用：まず、学習済みの浮動小数点重みを三値（+1, 0, -1）または3ビットレベルに量子化し、その後バックプロパゲーションを用いて微調整する。
• 有効圧縮比（ECR）を定義・計算し、圧縮前の有効サイズ（32ビット浮動小数点相当）を圧縮後のサイズ（量子化重み）で割る。
• ECRを用いて、ネットワークサイズと精度のトレードオフを比較し、メモリ効率の最適な構成を同定する。
• 2ビット、3ビット、5ビット、6ビットのさまざまな量子化ビット幅とネットワークサイズにおける性能を分析し、量子化に対する耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの複雑さは、浮動小数点DNNと量子化DNNの性能差にどのように影響するか？
• RQ2 極端な重み量子化（例：三値または2ビット重み）の後でも、微調整がどの程度精度を回復できるか？
• RQ3 メモリ使用量を最小限に抑えるために、ネットワークサイズと重み精度の最適なトレードオフは何か？
• RQ4 同じ精度水準で、大規模かつ極めて量子化されたネットワークが、より小さな高精度ネットワークを上回るメモリ効率を達成できるか？
• RQ5 大規模DNNに内在する冗長性が、コンパクトなネットワークよりも量子化ノイズに対してより耐性を示すか？

主な発見

• 訓練データの制限によって性能が制限される大規模で複雑なネットワークでは、浮動小数点DNNと微調整済み三値重みDNNの性能差がほぼ消失する。
• 隠れユニット数や特徴マップ、層数を減らしたコンパクトなネットワークは、量子化によって顕著な性能低下を示し、精度損失に対して低い耐性を示す。
• 微調整後、2ビット量子化が最も高い有効圧縮比（ECR）を達成し、同等の精度下で他の高精度設定を上回る。
• 直接量子化（微調整なし）の場合、5ビット精度が最良のECRを示すが、微調整により2ビット量子化が他のすべての設定を効率面で上回る。
• 最大層サイズ（1,024ユニット）では、微調整後、6ビット量子化が最も優れた性能を示し、すでに大規模なモデルではさらに精度を向上させても効果が薄れることが示された。
• 有効圧縮比（ECR）指標は、同じ精度水準で、より大規模で極めて量子化されたネットワークが、より小さな高精度ネットワークよりもメモリ効率が良いことを的確に特定した。