[論文レビュー] Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?

Shilin Zhu, Xin Dong+1 more|arXiv (Cornell University)|Jun 20, 2018

Advanced Neural Network Applications参考文献 56被引用数 15

ひとこと要約

本稿では、バイナリニューラルネットワーク（BNNs）とアンサンブル手法を組み合わせることで、トレーニングおよび推論中の内在的不安定性と非耐性に起因する精度の低下を克服する、新しいアーキテクチャであるバイナリアンサンブルニューラルネットワーク（BENN）を提案する。ブースティングまたはバギングを用いて4〜6個のBNNをアンサンブルすることで、同じアーキテクチャにおいてImageNet上でフルプレシジョンネットワークを上回る最先端の精度を達成する一方、ビット単位演算により低レイテンシかつハードウェア効率を維持する。

ABSTRACT

Binary neural networks (BNN) have been studied extensively since they run dramatically faster at lower memory and power consumption than floating-point networks, thanks to the efficiency of bit operations. However, contemporary BNNs whose weights and activations are both single bits suffer from severe accuracy degradation. To understand why, we investigate the representation ability, speed and bias/variance of BNNs through extensive experiments. We conclude that the error of BNNs is predominantly caused by the intrinsic instability (training time) and non-robustness (train & test time). Inspired by this investigation, we propose the Binary Ensemble Neural Network (BENN) which leverages ensemble methods to improve the performance of BNNs with limited efficiency cost. While ensemble techniques have been broadly believed to be only marginally helpful for strong classifiers such as deep neural networks, our analyses and experiments show that they are naturally a perfect fit to boost BNNs. We find that our BENN, which is faster and much more robust than state-of-the-art binary networks, can even surpass the accuracy of the full-precision floating number network with the same architecture.

研究の動機と目的

• トレーニングおよび推論中に生じる内在的不安定性と非耐性に起因するバイナリニューラルネットワーク（BNNs）における顕著な精度の低下を是正すること。
• 低ビット幅であるにもかかわらず、表現力と一般化性能の制限を効果的に緩和できるかどうか、アンサンブル手法が有効であるかを調査すること。
• 複数の軽量BNNを採用することで、1ネットワークあたりのビット数を増やすのではなく、1ビットあたりのパフォーマンスを最大化する、ハードウェア効率的でスケーラブルなアーキテクチャを提案すること。
• アンサンブルベースのBNNが、フルプレシジョンモデルを上回る精度を達成しながらも、バイナリ計算の高速性とエネルギー効率を維持できることを実証すること。
• エッジデバイスへの効率的な展開を念頭に、設計上のトレードオフを「1ネットワークあたりのビット数」から「1ビットあたりのネットワーク数」へ再定式化すること。

提案手法

• 同じアーキテクチャを共有する複数のBNNをトレーニングし、バギングまたはブースティングによる予測のアンサンブルを採用するバイナリアンサンブルニューラルネットワーク（BENN）を提案する。
• 確率的バイナリゼーションと反復的トレーニングを用いて、多様な基本BNNを生成し、分散を低減するとともに耐性を向上させる。
• 計算量がO(K)にまで低減される線形時間計算量のアンサンブル戦略を採用し、効率的なハードウェア並列処理を可能にする。
• 予測の平均化または重み付き投票を適用して予測を統合し、一般化性能を著しく向上させるとともに、予測分散を低減する。
• 共有アーキテクチャとデータオーグメンテーションを最適化することで、1ネットワークあたりのモデルサイズを増加させることなく、基本BNN間の多様性を高める。
• AlexNetおよびResNet-18を用いて、CIFAR-10およびImageNetでベンチマークを実施し、フルプレシジョンおよび先行するBNNと比較する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル手法は、本質的に不安定で非耐性であるBNNのバイアスと分散を効果的に低減できるか？
• RQ2 1つのネットワークのビット精度を向上させるのと比較して、複数のBNNを組み合わせることで精度が向上するか？
• RQ3 BENNは1ビットの重みと活性化を維持しながら、フルプレシジョンDNNを上回る精度を達成できるか？
• RQ4 BNNにおけるアンサンブル数、モデルサイズ、推論速度の最適なトレードオフは何か？
• RQ5 BENNの性能は、異なるデータセットおよびネットワークアーキテクチャにおいてどのようにスケーリングするか？

主な発見

• AlexNetを用いたBENNは、6つのブーストされたBNNを用いてImageNetで54.3%のトップ-1精度を達成し、フルプレシジョンDNNの56.6%を上回った。
• ResNet-18を用いたBENNは、6つのブーストされたBNNを用いて61.0%のトップ-1精度を達成し、フルプレシジョンモデルの69.3%を上回った。
• 4〜5個のBNNのみを用いても、BENNはImageNetでXNOR-Net（44.0%）やDoReFa-Net（43.6%）といった最先端のBNNを上回った。
• BENNの計算量はO(K)であり、K²ベースの手法（例：Kビット量子化やKベース手法）と比較して顕著に低減されている。
• BENNはネイティブなビット単位演算のおかげでFPGA上でO(1)並列処理が可能であり、マルチビット量子化ネットワークを上回るハードウェア効率を示した。
• アンサンブルアプローチにより予測分散が低減され、ノイズに対する耐性が向上し、トレーニングおよびテストフェーズの両方でBENNの安定性が確認された。