[論文レビュー] MoBiNet: A Mobile Binary Network for Image Classification

Hai Thanh Phan, Dang Huynh+3 more|arXiv (Cornell University)|Jul 29, 2019

Advanced Neural Network Applications参考文献 60被引用数 15

ひとこと要約

MoBiNetは、モバイルデバイスでの効率的な推論を目的として、MobileNetの深度分離畳み込みおよびポイントワイド畳み込みをバイナリ化する新しいモバイルバイナリニューラルネットワークを提案する。Preブロック、Midブロック、Postブロックの設計によるスキップ接続の導入と、K依存性を用いた特徴相関の強化により、事前学習重みを用いずに訓練を開始しても、ImageNet上で54.40%のトップ1精度を達成し、3.13倍の高速化と1.34倍のモデル圧縮を実現した。

ABSTRACT

MobileNet and Binary Neural Networks are two among the most widely used techniques to construct deep learning models for performing a variety of tasks on mobile and embedded platforms.In this paper, we present a simple yet efficient scheme to exploit MobileNet binarization at activation function and model weights. However, training a binary network from scratch with separable depth-wise and point-wise convolutions in case of MobileNet is not trivial and prone to divergence. To tackle this training issue, we propose a novel neural network architecture, namely MoBiNet - Mobile Binary Network in which skip connections are manipulated to prevent information loss and vanishing gradient, thus facilitate the training process. More importantly, while existing binary neural networks often make use of cumbersome backbones such as Alex-Net, ResNet, VGG-16 with float-type pre-trained weights initialization, our MoBiNet focuses on binarizing the already-compressed neural networks like MobileNet without the need of a pre-trained model to start with. Therefore, our proposal results in an effectively small model while keeping the accuracy comparable to existing ones. Experiments on ImageNet dataset show the potential of the MoBiNet as it achieves 54.40% top-1 accuracy and dramatically reduces the computational cost with binary operators.

研究の動機と目的

• 計算コストを最小限に抑えた、モバイルおよび組み込み環境向けに最適化された軽量なバイナリニューラルネットワークの開発。
• 深度分離畳み込みを用いるバイナリネットワークの訓練における、勾配消失や情報損失の課題の解決。
• 事前学習済みの浮動小数点重みの必要性を排除し、バイナリ化されたMobileNetアーキテクチャをランダム初期化からエンドツーエンドで訓練可能にする。
• 分離畳み込み層にわたるK依存性の導入により、バイナリネットワークにおける特徴表現の向上。
• 最新のバイナリネットワークと同等の高い精度と効率性を実現しながら、極めて小さなモデルサイズを維持すること。

提案手法

• MobileNetの深度分離畳み込みおよびポイントワイド畳み込みにおける重みと活性化をバイナリ化するMoBiNetというバイナリニューラルネットワークを提案。
• 勾配消失を緩和するスキップ接続を備えた、Preブロック、Midブロック、Postブロックの3種類のブロック設計を導入し、訓練の安定性を向上。
• 分離畳み込みにおけるチャネル間相関を強化するK依存性を採用し、FLOPsの増加を抑えつつ特徴表現を向上。
• 事前学習モデルを回避する独自の訓練スキームを採用し、ランダム初期化からの完全な訓練を可能に。
• バイナリ演算子（XNORとpopcount）を活用して推論を高速化し、メモリ使用量を削減。
• チャネル単位のスケーリングと残差接続を適用し、層間で元の特徴と変換された特徴を両方保持。

実験結果

リサーチクエスチョン

• RQ1 深度分離畳み込みアーキテクチャ（例：MobileNet）上で、事前学習重みなしにバイナリニューラルネットワークを有効に訓練できるか？
• RQ2 Pre-、Mid-、Postブロックといった異なる構成のスキップ接続が、バイナリMobileNetの訓練安定性とモデル精度に与える影響は何か？
• RQ3 K依存性がバイナリ化された分離畳み込みにおける特徴表現と精度に与える影響は何か？
• RQ4 Bi-RealNet や XNOR-Net といった既存の最先端バイナリネットワークと比較して、MoBiNetの精度と効率性はどの程度か？
• RQ5 完全にバイナリ化されたMobileNetは、最小限の計算コストとモデルサイズで競争力のある性能を達成できるか？

主な発見

• MoBiNetは、Midブロック設計とK=4を用いた場合、ImageNetで54.40%のトップ1精度を達成し、Bi-RealNetを除く大多数の先行バイナリネットワークを上回った。
• Bi-RealNet-18よりも3.13倍高速化され、モデル圧縮率は1.34倍に達し、精度差はわずか2%にとどまった。
• ランダム初期化からの訓練が可能で効果的であり、事前学習済みの浮動小数点重みの必要性が排除された。これは、多数の既存バイナリネットワークとは対照的な主な利点である。
• Midブロック設計が最も高い精度を達成した。これは、スキップ接続により元の特徴とスケーリングされた特徴を両方保持できるためである。
• K依存性は特徴相関と精度を顕著に向上させ、テストされた設定の中でK=4が最良のパフォーマンスを示した。
• FLOPsは0.52×10⁸にまで削減され、フル精度のMobileNetと比較して12倍の高速化を達成し、顕著な効率性向上を示した。