[論文レビュー] Binarizing MobileNet via Evolution-based Searching

Hai Thanh Phan, Zechun Liu+4 more|arXiv (Cornell University)|May 13, 2020

Advanced Neural Network Applications参考文献 51被引用数 5

ひとこと要約

本稿では、異種のグループ畳み込み構造を最適化することでMobileNetをバイナリ化するための進化的探索ベースの手法を提案する。1.54×10⁸ FLOPsの計算コストでImageNet上で60.09%のTop-1精度を達成し、CI-BCNNなど最先端の手法を精度と効率の両面で上回っている。探索には単一のGPUを用いている。

ABSTRACT

Binary Neural Networks (BNNs), known to be one among the effectively compact network architectures, have achieved great outcomes in the visual tasks. Designing efficient binary architectures is not trivial due to the binary nature of the network. In this paper, we propose a use of evolutionary search to facilitate the construction and training scheme when binarizing MobileNet, a compact network with separable depth-wise convolution. Inspired by one-shot architecture search frameworks, we manipulate the idea of group convolution to design efficient 1-Bit Convolutional Neural Networks (CNNs), assuming an approximately optimal trade-off between computational cost and model accuracy. Our objective is to come up with a tiny yet efficient binary neural architecture by exploring the best candidates of the group convolution while optimizing the model performance in terms of complexity and latency. The approach is threefold. First, we train strong baseline binary networks with a wide range of random group combinations at each convolutional layer. This set-up gives the binary neural networks a capability of preserving essential information through layers. Second, to find a good set of hyperparameters for group convolutions we make use of the evolutionary search which leverages the exploration of efficient 1-bit models. Lastly, these binary models are trained from scratch in a usual manner to achieve the final binary model. Various experiments on ImageNet are conducted to show that following our construction guideline, the final model achieves 60.09% Top-1 accuracy and outperforms the state-of-the-art CI-BCNN with the same computational cost.

研究の動機と目的

• モバイルデプロイ用に効率的で高精度なバイナリニューラルネットワーク（BNN）を設計する課題に取り組むこと、特にMobileNetのような軽量アーキテクチャをバイナリ化する際の課題に焦点を当てる。
• 深度分離畳み込みと完全バイナリ畳み込みの限界（表現範囲が狭い、計算コストが高い）を克服するため、グループ畳み込みをバランスの取れた代替手段として検討する。
• 各層における最適で非均一なグループ構成を特定するための探索戦略を開発し、精度を最大化するとともに計算コストを最小化することを目的とする。
• 進化的探索がBNNにおけるグループ畳み込み構成の複雑な探索空間を効果的に探索できることを示し、優れたアーキテクチャの設計に繋がることを確認する。

提案手法

• 各畳み込み層で多様なランダムなグループ組み合わせを用いて強力なベースラインバイナリネットワークを事前に学習させ、層間での特徴情報の保持を図る。
• 精度、FLOPs、推論遅延を最適化する目的で、グループ畳み込み構成の探索空間を探索する進化的探索アルゴリズムを採用する。
• 一度に多数の候補アーキテクチャを効率的に評価できる「ワンショットアーキテクチャ探索」パラダイムに従い、1つのスーパーネットを訓練する。
• 進化的探索で特定された最良のグループ構成を用いて、最終的なバイナリモデルを再訓練する。
• 重み共有と微分可能探索の原則を活用することで、探索コストを低減し収束性を向上させる。
• グループ数を層ごとに動的に割り当てることで、表現力と効率性のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 進化的探索は、バイナリ化されたMobileNetにおける最適なグループ畳み込み構成を効果的に特定できるか？
• RQ2 均一または固定されたグループ構成と比較して、層間で非均一なグループ構造を採用することは、性能と計算コストの両面で優れているか？
• RQ3 同じ計算予算下で、提案手法はCI-BCNN や BiReal-Net といった最先端のバイナリニューラルネットワークを、Top-1精度とFLOPsの両面で上回ることができるか？
• RQ4 グループ構成の影響は、バイナリネットワークの学習安定性と収束性にどのように現れるか？
• RQ5 深度分離畳み込みと完全畳み込みの間の妥当な中間手段としてのグループ畳み込みは、1ビットネットワークにおける特徴表現を向上させるか？

主な発見

• 提案手法は、1.54×10⁸ FLOPsというFLOP予算下でImageNet上で60.09%のTop-1精度を達成し、同じ条件で1%高い精度を記録した最先端手法CI-BCNNを上回った。
• FLOPsを33%に抑えた0.33×10⁸でBiReal-Net-18よりも4.5%高いTop-1精度を達成し、優れた効率性を示した（対象は1.63×10⁸）。
• 提案アーキテクチャのモジュール2およびモジュール3は、BiReal-Net や CI-BCNN よりも高いTop-1精度を達成しながら、はるかに少ないFLOPsを要した。
• 進化的探索は、単純なランダムなグループ構成に比べ、より安定的で高精度な結果をもたらした。これは、層間で非均一なグループ構造が有効であることを裏付けた。
• アブレーションスタディの結果、探索アルゴリズムは入力情報を保持するため、初期層ではグループ数を少なく割り当てることが優先され、後段の層ではグループ数を増やして表現のcompactさを高めていることが確認された。
• 探索プロセスに単一のGPUのみを用いることで、高い性能を達成した。これは、探索コストが低く、実用的であることを示している。