[論文レビュー] Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks

Darryl Dexu Lin, Sachin S. Talathi|arXiv (Cornell University)|Jul 8, 2016

Model Reduction and Neural Networks参考文献 8被引用数 29

ひとこと要約

この論文は、固定小数点学習における不安定性の根本的原因として、低精度の活性化関数に起因する勾配不一致を特定する。4ビットの活性化/重みを持つネットワークでImageNetで25.3%のTop-5誤差を達成し、一部の設定では浮動小数点ベースラインを上回る性能を示す。固定小数点活性化を用いた微調整、上位層のみの微調整、反復的下位から上位への微調整の3つの補完的技術を提案し、収束性と精度を顕著に向上させる。

ABSTRACT

It is known that training deep neural networks, in particular, deep convolutional networks, with aggressively reduced numerical precision is challenging. The stochastic gradient descent algorithm becomes unstable in the presence of noisy gradient updates resulting from arithmetic with limited numeric precision. One of the well-accepted solutions facilitating the training of low precision fixed point networks is stochastic rounding. However, to the best of our knowledge, the source of the instability in training neural networks with noisy gradient updates has not been well investigated. This work is an attempt to draw a theoretical connection between low numerical precision and training algorithm stability. In doing so, we will also propose and verify through experiments methods that are able to improve the training performance of deep convolutional networks in fixed point.

研究の動機と目的

• 固定小数点畳み込みニューラルネットワークにおける低精度学習の不安定性の理論的起源を調査すること。
• 重みではなく活性化関数が、勾配不一致と不安定性の主な要因であることを特定すること。
• 固定小数点微調整における学習の安定化と収束性向上を図る実用的で補完的な技術を提案すること。
• 最小限のハイパーパrameterチューニングで、ImageNet分類タスクにおけるこれらの手法の有効性を実証すること。
• 量子化に起因する微分不能な活性化関数が誤差逆伝搬にどのように影響を与えるかを理解する理論的基盤を提供すること。

提案手法

• 固定小数点ネットワークにおける、仮定された微分可能関数（例：ReLU）と実際の非微分可能関数（量子化済み関数）との乖離を分析する。
• 量子化された活性化関数に起因する誤った導関数の使用として、勾配不一致問題を定式化する。
• 提案1：事前学習済みの浮動小数点ネットワークを、固定小数点活性化を用いて微調整し、重みを固定小数点のままに保つ。
• 提案2：下位層を固定した後、上位の全結合層のみを微調整することで、勾配誤差の蓄積を低減する。
• 提案3：下位から上位へ段階的に反復的に微調整することで、各段階で正確な勾配計算を保証する。
• 実験では、Stochastic roundingを適用せず、同一条件でImageNet分類をベンチマークとして全手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ低精度の固定小数点活性化関数を用いた畳み込みニューラルネットワークの学習は不安定になり、発散するのか？
• RQ2 固定小数点学習における勾配不一致の主な原因は重みか活性化関数か。また、誤差逆伝搬にどのように影響を与えるか？
• RQ3 誤差逆伝搬中に勾配誤差が蓄積することで、低精度活性化を持つ深層ネットワークの収束性にどのような影響を与えるか？
• RQ4 反復的かつ下位から上位への微調整は、勾配不一致を緩和し、学習の安定性と精度を向上させることができるか？
• RQ5 4ビットなどの極めて低いビット幅を持つ固定小数点ネットワークは、フル精度ベースラインと比較してどの程度の精度を達成できるか？

主な発見

• 低精度の活性化関数は、微分不能な有効な活性化関数を導入し、SGDの不安定化を引き起こす根本的な勾配不一致を生じさせる。
• 勾配不一致の問題は、誤差逆伝搬中の蓄積により深さが増すと悪化し、低精度設定では学習の発散を引き起こす。
• 提案1（固定小数点活性化を用いた微調整）は、4ビット活性化と16ビット重みで31.3%のTop-5誤差を達成し、通常の微調整を顕著に上回る。
• 提案2（上位全結合層のみの微調整）は、4ビット活性化と4ビット重みで誤差を23.3%まで低減し、局所的な改善を示す。
• 提案3（反復的下位から上位への微調整）は最高の結果を達成し、4ビット/4ビットネットワークで25.3%のTop-5誤差を達成。一部の設定では浮動小数点ベースラインを上回る。
• 最小限のハイパーパrameterチューニングでも、提案手法は低ビット固定小数点ネットワークにおける最先端の性能を達成しており、勾配不一致の是正が有効であることを示している。