[論文レビュー] ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions

Zechun Liu, Zhiqiang Shen+2 more|arXiv (Cornell University)|Mar 7, 2020

Advanced Neural Network Applications参考文献 44被引用数 30

ひとこと要約

tldr: ReActNetは、一般化ReAct-SignおよびReAct-PReLUによる活性化分布整形を備えたMobileNetV1ベースの強力な基準バイナリネットワークと、実数値出力を忠実に模倣する分布的損失を導入し、計算量を大幅に抑えつつ1ビットCNNで最先端のImageNet精度を達成します。

ABSTRACT

In this paper, we propose several ideas for enhancing a binary network to close its accuracy gap from real-valued networks without incurring any additional computational cost. We first construct a baseline network by modifying and binarizing a compact real-valued network with parameter-free shortcuts, bypassing all the intermediate convolutional layers including the downsampling layers. This baseline network strikes a good trade-off between accuracy and efficiency, achieving superior performance than most of existing binary networks at approximately half of the computational cost. Through extensive experiments and analysis, we observed that the performance of binary networks is sensitive to activation distribution variations. Based on this important observation, we propose to generalize the traditional Sign and PReLU functions, denoted as RSign and RPReLU for the respective generalized functions, to enable explicit learning of the distribution reshape and shift at near-zero extra cost. Lastly, we adopt a distributional loss to further enforce the binary network to learn similar output distributions as those of a real-valued network. We show that after incorporating all these ideas, the proposed ReActNet outperforms all the state-of-the-arts by a large margin. Specifically, it outperforms Real-to-Binary Net and MeliusNet29 by 4.0% and 3.6% respectively for the top-1 accuracy and also reduces the gap to its real-valued counterpart to within 3.0% top-1 accuracy on ImageNet dataset. Code and models are available at: https://github.com/liuzechun/ReActNet.

研究の動機と目的

• ImageNet上で二値と実数値ネットワークの精度差を追加の計算なしに埋める。
• アイデンティティショートカットを備えた圧縮実数値バックボーンを活用した高性能な基準バイナリネットワークを設計する。
• 活性化分布の影響を調査し、分布を再形成する学習可能な一般化活性化関数を導入する。
• 実数値ネットワークの出力とバイナリネットワークの出力を整列させる分布的損失を使用する。

提案手法

• パラメータなしのショートカットを対処することで中間畳み込みをバイナリ化した基準バイナリネットワークを構築する。
• ダウンサンプリングブロックを結合ベースの設計に置換し、入力/出力チャネルを等しく保ち、バイナリ化されたショートカットを有効にする。
• ReAct-Sign (RSign)とReAct-PReLU (RPReLU)を導入し、チャネル別分布の整形とシフトをほぼゼロコストで学習する。
• 実数値とバイナリネットワークの出力分布間のKLダイバージェンスを最小化する分布的損失を組み込む。
• ImageNet上で評価し、最新のバイナリネットワークと実数値ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 1ビットCNNは最小限の計算オーバーヘッドでImageNetにおいて実数値の対応モデルの精度にどれだけ近づくのか？
• RQ2 分布整形活性化と分布的損失を学習することは追加のFLOPsなしでバイナリネットワークの性能を大幅に向上させるか？
• RQ3 ダウンサンプリング設計と活性化分布が大規模データセットでのバイナリネットワークの精度に及ぼす影響は何か？

主な発見

• 提案された基準はImageNetでTop-1精度61.1%を約0.87e9 BOPsで達成し、コストを半分に抑えつつ多くの従来のバイナリネットワークを上回る。
• RSignとRPReLUを追加すると、ベースラインよりそれぞれ4.9%、3.6%の精度向上を達成；両方を用いた場合（ReActNet-A）は69.4%のTop-1に達し、実数値ネットワークの精度の3%程度未満の差に留まる。
• 分布的損失は活性化整形に加えて約1%の精度向上をさらにもたらす。
• ReActNet-Cは競合手法より大幅に低いOPsで71.4%のTop-1精度を達成し、MeliusNet59を凌ぎつつより高効率。
• ショートカット付き1ビット畳み込みと結合ダウンサンプリングの基準は、従来設計と比較して計算コストを削減し精度を向上させる。
• 視覚化は学習された活性化シフト係数が実数値ネットワークの分布に似ており、よりバランスの取れた活性化マップにつながることを示す。