[論文レビュー] AdderNet: Do We Really Need Multiplications in Deep Learning?

Hanting Chen, Yunhe Wang+5 more|arXiv (Cornell University)|Dec 31, 2019

Advanced Neural Network Applications参考文献 37被引用数 14

ひとこと要約

この論文は、畳み込みニューラルネットワークにおける計算コストの高い乗算を、フィルタと特徴マップ間のℓ₁ノルム距離を類似度測定に用いることで、効率的な加算に置き換える、AdderNetsと呼ばれる新しい深層学習アーキテクチャを提案する。この手法は、畳み込み層で乗算を一切行わないResNet-50を用いてImageNetで74.9％のTop-1精度を達成し、加算のみのネットワークがCNNの性能を凌駆しつつ、計算コストを著しく削減できることを示している。

ABSTRACT

Compared with cheap addition operation, multiplication operation is of much higher computation complexity. The widely-used convolutions in deep neural networks are exactly cross-correlation to measure the similarity between input feature and convolution filters, which involves massive multiplications between float values. In this paper, we present adder networks (AdderNets) to trade these massive multiplications in deep neural networks, especially convolutional neural networks (CNNs), for much cheaper additions to reduce computation costs. In AdderNets, we take the $\ell_1$-norm distance between filters and input feature as the output response. The influence of this new similarity measure on the optimization of neural network have been thoroughly analyzed. To achieve a better performance, we develop a special back-propagation approach for AdderNets by investigating the full-precision gradient. We then propose an adaptive learning rate strategy to enhance the training procedure of AdderNets according to the magnitude of each neuron's gradient. As a result, the proposed AdderNets can achieve 74.9% Top-1 accuracy 91.7% Top-5 accuracy using ResNet-50 on the ImageNet dataset without any multiplication in convolution layer. The codes are publicly available at: https://github.com/huaweinoah/AdderNet.

研究の動機と目的

• 畳み込み層における乗算を完全に排除しても精度を損なわず、深層ニューラルネットワークが動作可能かどうかを調査すること。
• 乗算を一切使用しない加算のみの演算で構成される、ハードウェアに優れた標準畳み込みの代替手法を設計すること。
• 勾配消失を最小限に抑えるために、ℓ₁距離類似度に基づくネットワークの安定した学習手順を開発すること。
• 計算複雑性を低減することで、モバイル端末やエッジデバイスへの低消費電力でのディープネットワークのデプロイを可能にすること。

提案手法

• 入力特徴マップと学習可能なフィルタの間のℓ₁ノルム距離の計算に、標準的な畳み込み演算を置き換える。この計算は加算と減算（2の補数を用いて）のみで実行される。
• 学習の安定化とℓ₁ベースのネットワークにおける勾配消失の回避を目的として、フル精度勾配に基づくバックプロパゲーション方式を導入する。
• 勾配の大きさに応じて各層ごとに学習率を調整する適応的学習率スケーリング戦略を提案し、収束性を向上させる。
• バックプロパゲーション中に十分なフィルタ更新が行われるよう、正則化付き勾配更新を採用する。特に初期学習段階で有効である。
• 特徴分布と重み分布の可視化により、ℓ₁ベースのネットワークがラプラス型の重み分布に従い、クラス判別能を持つ表現を学習していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁ノルム距離は、畳み込みにおける標準的なドット積の代わりに、深層ニューラルネットワークの類似度測定として実用的かつ効果的であると考えられるか？
• RQ2 乗算を一切行わず、加算のみで構成される深層ネットワークを、競争力のある精度を維持したまま学習可能か？
• RQ3 絶対値関数がゼロで微分不能であることを考慮すると、ℓ₁ベースのネットワークにおける勾配最適化はどのように安定化できるか？
• RQ4 収束性と高い性能を達成するには、適応的学習率やフル精度勾配といった訓練戦略がどのように必要となるか？

主な発見

• AdderNetsは、畳み込み層で乗算を一切行わないResNet-50アーキテクチャを用いて、ImageNetで74.9％のTop-1精度、91.7％のTop-5精度を達成した。
• 提案されたフル精度勾配と適応的学習率戦略により、AdderNetsはLeNet-5-BNを用いてMNISTで99.40％の精度に到達し、標準CNNと同等の性能を発揮した。
• AdderNetsの重み分布は、ℓ₁ノルムの事前分布に一致するラプラス分布に従うのに対し、CNNの重み分布はガウス分布に従う。
• 特徴の可視化結果から、AdderNetsはCNNよりもよりクラスに集中した表現を生成しており、ℓ₁類似度下での優れた判別能力を示している。
• アブレーションスタディの結果、フル精度勾配と適応的学習率スケーリングが高性能を達成するために不可欠であることが確認され、符号勾配のみではMNISTで29.26％の精度にとどまった。