[論文レビュー] BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures

Tianchen Zhao, Xuefei Ning+7 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Neural Network Applications参考文献 37被引用数 5

ひとこと要約

BARSは、二値化ニューラルネットワーク（BNNs）のための、セルトポロジー（ミクロレベル）とネットワークの深さ・幅のレイアウト（マクロレベル）を同時に最適化する、連続的で微分可能なニューラルアーキテクチャ探索（NAS）フレームワークを提案する。特化した二段階の探索空間を設計し、Gumbelサンプリングとエントロピー正則化を組み合わせることで、完全に二値化されたアーキテクチャを発見し、浮動小数点演算量を著しく削減しながら、SOTA（最先端）の精度を達成した。CIFAR-10およびImageNetにおいて、手作業で設計されたものや、従来のNASベースのBNNよりも優れた性能を発揮した。

ABSTRACT

Binary Neural Networks (BNNs) have received significant attention due to their promising efficiency. Currently, most BNN studies directly adopt widely-used CNN architectures, which can be suboptimal for BNNs. This paper proposes a novel Binary ARchitecture Search (BARS) flow to discover superior binary architecture in a large design space. Specifically, we analyze the information bottlenecks that are related to both the topology and layout architecture design choices. And we propose to automatically search for the optimal information flow. To achieve that, we design a two-level (Macro & Micro) search space tailored for BNNs and apply a differentiable neural architecture search (NAS) to explore this search space efficiently. The macro-level search space includes width and depth decisions, which is required for better balancing the model performance and complexity. We also design the micro-level search space to strengthen the information flow for BNN. %A notable challenge of BNN architecture search lies in that binary operations exacerbate the "collapse" problem of differentiable NAS, for which we incorporate various search and derive strategies to stabilize the search process. On CIFAR-10, BARS achieves 1.5% higher accuracy with 2/3 binary operations and 1/10 floating-point operations comparing with existing BNN NAS studies. On ImageNet, with similar resource consumption, BARS-discovered architecture achieves a 6% accuracy gain than hand-crafted binary ResNet-18 architectures and outperforms other binary architectures while fully binarizing the architecture backbone.

研究の動機と目的

• 重みと活性化の1ビット量子化による情報ボトルネックがBNNの性能低下を引き起こす要因であることを解消する。
• フルプレシジョンCNNアーキテクチャをBNNに移植する際に生じる非最適性、特に情報の流れの悪化を是正する。
• BNNのための統合的で微分可能なNASフレームワークを構築し、ミクロレベルのトポロジーとマクロレベルのレイアウトを同時に探索する。
• バックボーンを完全に二値化することで、フルプレシジョン演算を最小限に抑え、精度を最大化する。
• Gumbelサンプリングやエントロピー正則化といった改善戦略を用いて、大規模な探索空間における探索プロセスの安定化を図る。

提案手法

• マクロレベルで深さと幅の決定、ミクロレベルで二値畳み込みとスキップ接続を含むセルトポロジーを扱う二段階の探索空間を設計する。
• DARTS（Differentiable Architecture Search）を拡張し、統一的な微分可能定式化を用いてマクロおよびミクロの探索空間を同時に最適化する。
• 初期段階では探索を促進し、後続段階では自信のある決定を促すために、温度スケジューリングを用いたGumbelサンプリングを導入する。
• 多様で自信のある演算選択を促進することで、アーキテクチャ探索の安定化を図るため、エントロピー正則化を適用する。
• 情報の流れを維持しつつ、ネットワーク全体の完全二値化を可能にする、改良された二値ダウンサンプルレイヤーを設計する。
• 「ショートカットへの収束（collapse-to-shortcuts）」問題を回避するため、ウォームアップトレーニングとハイパーパramータスケジューリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 マクロレベルのレイアウトとミクロレベルのトポロジーの統合的探索は、手作業設計やFP-NASに適応したアーキテクチャを上回るBNNの性能向上を実現できるか？
• RQ2 BNNにおける情報ボトルネックが性能に与える影響は何か？ また、ミクロおよびマクロレベルでのアーキテクチャ設計によってこれを緩和できるか？
• RQ3 完全に二値化されたバックボーン（ダウンサンプルレイヤーを含む）を有するBNNに、微分可能なNASフレームワークを効果的に適応できるか？
• RQ4 大規模で複雑なBNNの探索空間において、探索プロセスを安定化させるために最も有効な探索戦略は何か？
• RQ5 スキップ接続やダウンサンプル演算といったアーキテクチャ的選択は、BNNにおける情報の流れと最終的な精度にどのように影響を与えるか？

主な発見

• CIFAR-10では、BARSは浮動小数点演算量を1/10に削減し、二値演算量も3分の2にまで削減した上で、トップ1精度93.0%を達成した。
• ImageNetでは、BARSが発見したアーキテクチャは、完全に二値化されたResNet-18よりも6%の精度向上を達成したが、リソース消費量は著しく少なかった。
• BARSが発見したアーキテクチャは、ダウンサンプルレイヤーを含むバックボーンを完全に二値化しているが、従来の研究では性能を維持するためのFPレイヤーを保持していた。
• アブレーションスタディの結果、オペレーションレベルのショートカットを削除するとBARS-Bで0.2%、改良されたダウンサンプルレイヤーを削除すると0.3%の精度低下が生じた。これは、強いアーキテクチャ的相乗効果を示している。
• パレートフロンティア分析により、均一な幅拡張よりも、深さと幅のマクロレベルでの統合的探索が、性能と複雑さのトレードオフをより良く達成していることが示された。
• ImageNetで発見されたセルは、CIFAR-10のものよりも多くの畳み込み層と複雑なスキップ接続を有しており、データセットに特化したアーキテクチャ的好みが反映されている。