[論文レビュー] From Hashing to CNNs: Training BinaryWeight Networks via Hashing

Qinghao Hu, Peisong Wang+1 more|arXiv (Cornell University)|Feb 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 41

ひとこと要約

本論文は、バイナリウェイトCNNの訓練を内積保存ハッシング問題として再定式化し、スケーリング係数を伴う交互最適化法 BWNH を提案する。これにより CIFAR-10/100 および ImageNet で最先端の結果を達成する。

ABSTRACT

Deep convolutional neural networks (CNNs) have shown appealing performance on various computer vision tasks in recent years. This motivates people to deploy CNNs to realworld applications. However, most of state-of-art CNNs require large memory and computational resources, which hinders the deployment on mobile devices. Recent studies show that low-bit weight representation can reduce much storage and memory demand, and also can achieve efficient network inference. To achieve this goal, we propose a novel approach named BWNH to train Binary Weight Networks via Hashing. In this paper, we first reveal the strong connection between inner-product preserving hashing and binary weight networks, and show that training binary weight networks can be intrinsically regarded as a hashing problem. Based on this perspective, we propose an alternating optimization method to learn the hash codes instead of directly learning binary weights. Extensive experiments on CIFAR10, CIFAR100 and ImageNet demonstrate that our proposed BWNH outperforms current state-of-art by a large margin.

研究の動機と目的

• モバイル/組み込みデバイスでの展開を念頭に、CNN のパラメータサイズと計算量の削減を動機づける。
• 内積保存ハッシングとバイナリウェイトネットワークとの強い関連性を示す。
• スケーリング因子を用いてバイナリウェイトを学習するハッシングベースの最適化フレームワークを開発する。
• 標準ベンチマークにおいて従来のバイナリウェイトネットワークより優れた性能を示す。
• 層単位の最適化とファインチューニングを含む実用的な訓練スキームを提供する。）
• method=[

提案手法

• バイナリウェイト学習を内積保存ハッシング問題として定式化する。
• 量子化損失を補償するスケーリング因子を導入する: g(W) = B A。
• 各層で閉形式更新を用いた交互最適化により B と A を解く。
• バイナリコード B を更新するために離散循環座標降下法 (DCC) を用いる。
• 層ごとの最適化を採用して層間の量子化誤差の蓄積を緩和する。
• 学習済みのバイナリコードとスケーリング因子で初期化した二値化ネットワークをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 問題をハッシングとして再定式化することで、バイナリウェイトネットワークを効果的に訓練できるだろうか。
• RQ2 フィルターごとのスケーリング因子を導入することで、バイナリウェイトCNNの精度は向上するか。
• RQ3 層ごとにハッシングベースのアプローチは、従来のバイナリウェイト手法と比較して大規模モデルやデータセット（ImageNet）にどれだけスケールするか。
• RQ4 ファインチューニング時の性能とネットワークの適応性に対するスケーリング因子の影響は何か。

主な発見

• BWNH は CIFAR-10/100 および ImageNet で最先端のバイナリウェイト法を上回る。
• ImageNet の ResNet-18 で BWNH は Top-1 64.3%、Top-5 85.9% を達成。BWN は 60.8%/83.0%、フル精度は 69.3%/89.2% である。
• BWNH は ResNet-18 を用いた ImageNet で、報告された最高のバイナリウェイトネットワークより Top-1 精度が 3.0 ポイント高い。
• VGG-9 を用いた CIFAR-10/100 では、BWNH は CIFAR-10 の誤差 9.21%、CIFAR-100 の 34.35% を達成し、BinaryConnect、BWN、SQ-BWN を上回る。
• スケーリング因子は重要であり、なければ精度が崩れる一方、推論時にはスケーリングは BatchNorm に吸収され得る。
• BWNH は他のバイナリウェイト学習手法の有用な初期化を提供し、その後のファインチューニング段階の恩恵を受ける。