[論文レビュー] PCA-driven Hybrid network design for enabling Intelligence at the Edge.

Indranil Chakraborty, Deboleena Roy+3 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Neural Network Applications参考文献 21被引用数 6

ひとこと要約

本稿では、バイナリニューラルネットワークの重要層を特定し、それらの精度を向上させることで分類精度を顕著に向上させるPCA駆動のハイブリッドネットワーク設計を提案する。ハイブリッドネットワークは、半数以上のネットワークをバイナリのままにしたまま、重要層にのみビット幅を拡張することで、CIFAR-100およびImageNetにおいてXNOR-Netより10%以上の精度向上を達成し、XNOR-Netの94%のエネルギー効率を維持する。

ABSTRACT

The recent advent of IOT has increased the demand for enabling AI-based edge computing in several applications including healthcare monitoring systems, autonomous vehicles etc. This has necessitated the search for efficient implementations of neural networks in terms of both computation and storage. Although extreme quantization has proven to be a powerful tool to achieve significant compression over full-precision networks, it can result in significant degradation in performance for complex image classification tasks. In this work, we propose a Principal Component Analysis (PCA) driven methodology to design mixed-precision, hybrid networks. Unlike standard practices of using PCA for dimensionality reduction, we leverage PCA to identify significant layers in a binary network which contribute relevant transformations on the input data by increasing the number of significant dimensions. Subsequently, we propose Hybrid-Net, a network with increased bit-precision of the weights and activations of the significant layers in a binary network. We show that the proposed Hybrid-Net achieves over 10% improvement in classification accuracy over binary networks such as XNOR-Net for ResNet and VGG architectures on CIFAR-100 and ImageNet datasets while still achieving upto 94% of the energy-efficiency of XNOR-Nets. The proposed design methodology allows us to move closer to the accuracy of standard full-precision networks by keeping more than half of the network binary. This work demonstrates an effective, one-shot methodology for designing hybrid, mixed-precision networks which significantly improve the classification performance of binary networks while attaining remarkable compression. The proposed hybrid networks further the feasibility of using highly compressed neural networks for energy-efficient neural computing in IOT-based edge devices.

研究の動機と目的

• エッジAIアプリケーションにおけるニューラルネットワークの極端な量子化による性能劣化を是正すること。
• バイナリネットワーク内のどの層が特徴変換に最も寄与しているかを特定すること。
• 精度を向上させつつも、圧縮率やエネルギー効率を損なわない混合精度ハイブリッドネットワークを設計すること。
• エネルギー制限のあるIoTエッジデバイスへの高圧縮ニューラルネットワークの実用的導入を可能にすること。

提案手法

• 次元削減の目的ではなく、バイナリネットワーク内の情報量の高い層を特定するために主成分分析（PCA）を応用する。
• PCAを用いて各層の有意な次元数を特定し、入力変換におけるその重要性を示す。
• PCAの結果に基づき、重要層を選別し、それらの重みと活性化値をより高いビット精度にアップグレードする。
• 大部分の層をバイナリ精度に保ちつつ、最も重要な層でのみ精度を向上させる方法でハイブリッドネットワークを構築する。
• CIFAR-100やImageNetといった標準ベンチマークでハイブリッドアーキテクチャを評価し、精度とエネルギー効率を測定する。
• 反復的再トレーニングを必要としないワンショット設計手法を用いて、最適な精度アップグレードを特定する。

実験結果

リサーチクエスチョン

• RQ1 バイナリニューラルネットワークのどの層が特徴表現および分類性能に最も寄与しているか？
• RQ2 PCAを再利用することで、バイナリネットワークにおける高影響度層の特定が有効に可能か？
• RQ3 混合精度アップグレードは、モデルの圧縮率やエネルギー効率を損なわず、どの程度精度向上に寄与するか？
• RQ4 本稿で提案するハイブリッドネットワークは、フル精度モデルおよび標準バイナリモデルと比較して、精度と効率の面でどのように差がつくか？

主な発見

• ハイブリッドネットワークは、CIFAR-100およびImageNetの両データセットにおいて、XNOR-Netよりも10%以上の高い分類精度を達成した。
• 提案手法はXNOR-Netの94%のエネルギー効率を維持しており、精度アップグレードにもかかわらず優れたエネルギー効率を示した。
• ネットワークの半数以上がバイナリのまま維持されており、顕著なモデル圧縮と低ストレージ要件を保ったままである。
• PCA駆動の層選別により、ワンショット設計プロセスが可能となり、精度アップグレードを最も影響力の高い層に的確に適用できた。
• ハイブリッドアーキテクチャにより、バイナリネットワークはフル精度モデルに非常に近い精度にまで向上したが、エッジデバイスへの展開に適したままである。