[論文レビュー] Learning Architectures for Binary Networks

Dahyun Kim, Kunal Pratap Singh+1 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Neural Network Applications参考文献 55被引用数 5

ひとこと要約

本稿では、量子化に強いレイヤー型とゼロ化レイヤーを含む再設計されたセルテンプレートを備えた新しい探索空間を定義することで、二値ニューラルネットワーク向けに最適化された最初のアーキテクチャ探索手法であるBNASを提案する。多様性正則化付き探索目的関数を導入し、訓練の安定化を図り、同等のFLOP予算下でCIFAR-10およびImageNetにおいて最先端の手法を上回る二値アーキテクチャを発見した。

ABSTRACT

Backbone architectures of most binary networks are well-known floating point architectures such as the ResNet family. Questioning that the architectures designed for floating point networks would not be the best for binary networks, we propose to search architectures for binary networks (BNAS) by defining a new search space for binary architectures and a novel search objective. Specifically, based on the cell based search method, we define the new search space of binary layer types, design a new cell template, and rediscover the utility of and propose to use the Zeroise layer instead of using it as a placeholder. The novel search objective diversifies early search to learn better performing binary architectures. We show that our proposed method searches architectures with stable training curves despite the quantization error inherent in binary networks. Quantitative analyses demonstrate that our searched architectures outperform the architectures used in state-of-the-art binary networks and outperform or perform on par with state-of-the-art binary networks that employ various techniques other than architectural changes.

研究の動機と目的

• 浮動小数点バックボーンアーキテクチャを二値重みおよび活性化に再利用する既存の二値ネットワークの性能が不十分である問題に対処する。
• 量子化誤差と勾配不安定性を考慮することで、アーキテクチャ探索がより優れた性能を示す二値ネットワークアーキテクチャを発見できるかを調査する。
• 深さ分離畳み込みなど、高い量子化誤差を引き起こしやすいレイヤーを除外し、ゼロ化レイヤーのような有益な要素を含む、二値ネットワークに特化した探索空間を設計する。
• 初期探索段階での多様なレイヤー型の探索を促進する多様性正則化子を備えた新しい探索目的関数を開発する。
• 高度なトレーニング技術やバイナリゼーション方式に依存せずに、アーキテクチャ探索によって最先端のモデルを上回る二値ネットワークを実現できることを示す。

提案手法

• 量子化誤差が著しく高いため、深さ分離畳み込みを除外し、学習可能なコンponentとしてゼロ化レイヤーを含む、二値ネットワーク向けの新しい探索空間を提案する。
• セル間スカイプ接続を備えた新しいセルテンプレートを設計し、二値量子化に起因する勾配の問題を緩和し、訓練を安定化させる。
• 初期探索段階における多様なレイヤー型の探索を促進する多様性正則化子を備えた、新しい探索目的関数を導入する。
• セルベース探索に基づく微分可能アーキテクチャ探索フレームワークを採用し、探索空間は二値レイヤー型と接続性に基づいて定義する。
• すべての実験でXNOR-Netバイナリゼーション方式を用いることで、アーキテクチャ探索の影響を他の改良要因から分離する。
• CIFAR-10およびImageNetにおいて、さまざまなFLOP予算下で探索されたアーキテクチャをトレーニングおよび評価し、一般化性能と効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 二値ネットワークに特化して設計された探索空間は、浮動小数点ネットワークから適応されたものよりも優れた性能を示すアーキテクチャを生み出せるか？
• RQ2 ゼロ化レイヤーをプレースホルダとして扱うのではなく、学習可能なコンponentとして組み込むことで、二値ネットワークの性能が向上するか？
• RQ3 多様性正則化付き探索目的関数は、量子化誤差が存在する中でも訓練を安定化させ、より優れた二値ネットワークアーキテクチャを導くことができるか？
• RQ4 同じFLOP制約下で評価された場合、探索された二値アーキテクチャは、手作業で設計されたまたは最先端の二値ネットワークを上回るか？
• RQ5 アーキテクチャ探索による性能向上は、高度なバイナリゼーション方式やトレーニング技術に依存しない独立した要因として十分な効果を示せるか？

主な発見

• 提案されたBNAS手法は、約0.27 GFLOPsのFLOPでCIFAR-10で92.70%のテスト精度を達成し、最先端のBinaryNet（89.95%）およびPCNN（非バイナリゼーションダウンサンプリング時のみ94.31%）を上回った。
• BNAS-Miniはわずか約0.16 GFLOPsでCIFAR-10で90.12%の精度を達成し、WideResNet40ベースのモデルを除くすべての他の二値ネットワークを上回った。
• ImageNetでは、BNAS-Dが約1.63 GFLOPsでトップ1精度57.69%、トップ5精度79.89%を達成し、同じバックボーンで比較した場合、BinaryNet（42.20%）およびABC-Net（42.70%）を上回った。
• アブレーションスタディの結果、セル間スカイプ接続を削除すると訓練が崩壊する一方、ゼロ化レイヤーまたは多様性正則化子を除外すると顕著な精度低下が生じた。
• 多様性正則化子は探索性能に顕著な寄与を示し、全コンponentsを備えたBNASモデル（BNAS-C）はCIFAR-10で94.43%の精度を達成した（正則化子なしでは92.66%）。
• 結果から、アーキテクチャの改善のみで顕著な性能向上が達成可能であることが示された。BNAS-FはImageNetで58.99%のトップ1精度を達成し、FLOP効率を考慮した場合、Bi-Real Net34（62.20%）を上回るトップ1精度を達成した。