[論文レビュー] LCNN: Lookup-based Convolutional Neural Network

Hessam Bagherinezhad, Mohammad Rastegari+1 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Neural Network Applications参考文献 37被引用数 12

ひとこと要約

LCNNは、標準的な畳み込みフィルタを学習済み辞書ベクトルのスパースな線形結合に置き換える、ルックアップベースの畳み込みニューラルネットワークであり、高速でコンactで高精度な推論と学習を可能にする。AlexNetに比べ最大37.6倍の高速化を達成し、トップ1精度44.3%を維持しながら、異なるアーキテクチャ間で事前学習済み辞書を転送することで、効率的な少サンプル学習および少イテレーション学習を実現する。

ABSTRACT

Porting state of the art deep learning algorithms to resource constrained compute platforms (e.g. VR, AR, wearables) is extremely challenging. We propose a fast, compact, and accurate model for convolutional neural networks that enables efficient learning and inference. We introduce LCNN, a lookup-based convolutional neural network that encodes convolutions by few lookups to a dictionary that is trained to cover the space of weights in CNNs. Training LCNN involves jointly learning a dictionary and a small set of linear combinations. The size of the dictionary naturally traces a spectrum of trade-offs between efficiency and accuracy. Our experimental results on ImageNet challenge show that LCNN can offer 3.2x speedup while achieving 55.1% top-1 accuracy using AlexNet architecture. Our fastest LCNN offers 37.6x speed up over AlexNet while maintaining 44.3% top-1 accuracy. LCNN not only offers dramatic speed ups at inference, but it also enables efficient training. In this paper, we show the benefits of LCNN in few-shot learning and few-iteration learning, two crucial aspects of on-device training of deep learning models.

研究の動機と目的

• VR、AR、ウェアラブルデバイスなどのリソース制約のあるプラットフォームに、最先端のディープラーニングモデルをデプロイする課題に対処すること。
• 過パrameter化と重みの相関性によって引き起こされるCNNにおける計算およびメモリのオーバーヘッドを低減すること。
• 少数の例（少サンプル学習）および少数の学習イテレーション（少イテレーション学習）という厳しい制約下での、効率的なオンデバイス学習を可能にすること。
• パrameter数を著しく削減しながらも高い精度を維持するモデルの開発

提案手法

• 標準的な畳み込みフィルタを、学習済み辞書からのベクトルのスパースな線形結合に置き換え、パrameter数を削減し、ルックアップベースの計算を可能にする。
• モデル最適化中に、辞書とスパース再構成重み（Pテンソル）を同時に学習する。
• 辞書の転送可能性を活用：より大きなネットワークで事前学習した辞書を、より小さなネットワークや深層アーキテクチャに再トレーニングなしで転送する。
• 少サンプル学習のためのファインチューニング時に辞書を固定し、学習可能なパrameterをスパース再構成重みのみに制限する。
• 辞書のアーキテクチャに依存しない性質を活かし、異なるネットワークの深さや構造間での転移学習を可能にする。
• 低精度の量子化とコンパクトなデータ構造を適用して、さらに推論効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ルックアップベースのCNNは、ImageNetで競争力のある精度を維持しながら、推論において顕著な高速化を達成できるか？
• RQ2 1クラスあたり1例、もしくは少数の例しか利用できない少サンプル学習の場面で、LCNNはどの程度効果的か？
• RQ3 LCNNは、非常に少ない学習イテレーションで高精度な学習を可能にできるか？オンデバイス学習に適しているか？
• RQ4 事前学習済み辞書は、異なるネットワークアーキテクチャ間でどの程度転送可能か？トレーニングの高速化にどの程度寄与するか？
• RQ5 辞書と再構成重みの共同学習は、より優れたパラメータ効率性と一般化性能をもたらすか？

主な発見

• LCNNは、標準的なAlexNetに比べ3.2倍の高速化を達成しながら、ImageNetで55.1%のトップ1精度を維持する。
• 最も高速なLCNNバージョンは、AlexNetに比べ37.6倍の高速化を達成し、トップ1精度44.3%を維持する。
• 少サンプル学習では、1カテゴリあたり1例での学習時、トップ1精度が6.3%向上する。
• 浅いネットワークから転送した辞書を用いることで、わずか10,000イテレーションの学習後、標準CNNよりもトップ1精度が16.2%高い。
• 辞書を固定し、スパース再構成重みのみを更新することで、ファインチューニング時の学習可能なパラメータ数を14倍に削減する。
• ResNet-18では、62.2%のトップ1精度で5倍の高速化、51.8%の精度で29.2倍の高速化を達成しており、優れたスケーラビリティを示す。