[論文レビュー] Binarized Neural Architecture Search for Efficient Object Recognition

Hanlin Chen, Li’an Zhuo+6 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Neural Network Applications参考文献 73被引用数 4

ひとこと要約

本稿では、エッジデバイス上で効率的なオブジェクト認識を可能にするために、バイナリゼーションされた畳み込みニューラルネットワークアーキテクチャを探索する手法であるバイナリゼッドニューラルアーキテクチャサーチ（BNAS）を提案する。操作空間の削減、チャネルサンプリング、およびパフォーマンスに基づくプルーニング戦略を上界信頼区間（UCB）最適化と統合することで、BNASは、CIFAR-10で96.53%、ImageNetおよび顔認識でも高い性能を達成するが、フルプレシジョンNAS手法と同等の精度を実現する一方で、モデルサイズと探索時間の両方をPC-DARTSと比較して最大40%まで削減した。

ABSTRACT

Traditional neural architecture search (NAS) has a significant impact in computer vision by automatically designing network architectures for various tasks. In this paper, binarized neural architecture search (BNAS), with a search space of binarized convolutions, is introduced to produce extremely compressed models to reduce huge computational cost on embedded devices for edge computing. The BNAS calculation is more challenging than NAS due to the learning inefficiency caused by optimization requirements and the huge architecture space, and the performance loss when handling the wild data in various computing applications. To address these issues, we introduce operation space reduction and channel sampling into BNAS to significantly reduce the cost of searching. This is accomplished through a performance-based strategy that is robust to wild data, which is further used to abandon less potential operations. Furthermore, we introduce the Upper Confidence Bound (UCB) to solve 1-bit BNAS. Two optimization methods for binarized neural networks are used to validate the effectiveness of our BNAS. Extensive experiments demonstrate that the proposed BNAS achieves a comparable performance to NAS on both CIFAR and ImageNet databases. An accuracy of $96.53\%$ vs. $97.22\%$ is achieved on the CIFAR-10 dataset, but with a significantly compressed model, and a $40\%$ faster search than the state-of-the-art PC-DARTS. On the wild face recognition task, our binarized models achieve a performance similar to their corresponding full-precision models.

研究の動機と目的

• エッジデバイスにおけるニューラルネットワークの高い計算コストと大きなモデルサイズを解決すること。
• より効率的であるが性能劣化を起こしやすいバイナリゼートネットワークに特化したニューラルアーキテクチャサーチ手法を開発すること。
• 特に1ビットネットワークにおいて、バイナリゼートアーキテクチャの探索コストを低減し、効率を向上させること。
• 実世界のデータ（例：実際の顔認識）においても、精度の低下を最小限に抑えた頑健な性能を実現すること。
• バイナリゼートアーキテクチャがフルプレシジョンNASの性能に匹敵しつつ、著しく圧縮されたモデルを実現できることを示すこと。

提案手法

• エッジデバイス向けに極めて圧縮されたモデルを生成できる、バイナリゼート畳み込みから構成される探索空間を有するBNASを導入する。
• 操作空間の削減とチャネルサンプリングを適用し、探索空間を初期段階でプルーニングすることで、計算コストを低減する。
• 探索中に潜在的性能が低い演算を動的に削除するパフォーマンスに基づく戦略を採用し、効率性と実世界データに対する頑健性を向上させる。
• 1ビットBNASの最適化に上界信頼区間（UCB）バンディットアルゴリズムを用い、探索と活用のバランスを取る。
• 同じNASフレームワーク内にバイナリゼーション最適化を再定式化し、エンドツーエンドのトレーニングと探索を可能にする。
• PCNNおよびXNOR-Netの2つのバイナリゼートネットワーク最適化手法を用いて手法を検証し、異なる手法間でも一般化性を示した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャサーチは、バイナリゼートネットワークに効果的に適応可能であり、高い効率性とパフォーマンスを達成できるか？
• RQ2 精度を損なわずに、バイナリゼートNASにおいて探索空間を効率的に削減する方法は何か？
• RQ3 パフォーマンスに基づくプルーニング戦略は、バイナリゼートモデルの実世界データに対する頑健性を向上させられるか？
• RQ4 UCBバンディット戦略は、ランダム探索やグリーディ探索と比較して、1ビットBNASのパフォーマンスをどのように向上させるか？
• RQ5 バイナリゼートアーキテクチャは、顔認識などの実世界タスクにおいて、フルプレシジョンNASの性能にどの程度まで近づけるか？

主な発見

• BNASはCIFAR-10で96.53%のトップ-1精度を達成したが、フルプレシジョンNASの97.22%と比較してわずかに低い性能であり、モデルは著しく圧縮された。
• BNASの探索時間は0.09375 GPU日であり、最先端のPC-DARTS手法と比較して40%高速であった。
• ImageNetデータセットでは、BNASがフルプレシジョンNASモデルと同等の性能を示すバイナリゼートアーキテクチャを発見したが、モデルサイズははるかに小さかった。
• 顔認識タスクでは、1ビットBNASがLFWで98.57%の精度を達成し、フルプレシジョンResNet-18と比較してわずか1.06%の精度低下にとどまり、パrameter数はたった10.224Mであった。
• 1ビットBNASは、既存の人為設計された1ビットネットワークと比較して、5.0%の精度向上を達成し、パrameter数も少ない。
• 本手法は強力な転送性を示し、CIFAR-10、ImageNet、実世界の顔認識ベンチマークを含む多様なデータセットで高いパフォーマンスを維持した。