[論文レビュー] Network Sketching: Exploiting Binary Structure in Deep CNNs

Yiwen Guo, Anbang Yao+2 more|arXiv (Cornell University)|Jun 7, 2017

Advanced Neural Network Applications被引用数 13

ひとこと要約

この論文は、テンソル展開を用いて事前学習済みフィルタバンク内のバイナリ構造を活用することで、バイナリ重みCNNを生成する新しい手法、ネットワークスケッチを提案する。これにより、効率的かつ高精度な推論が可能となり、メモリコストを最小限に抑えつつImageNetで最先端の性能を達成する。BWN や BinaryConnect よりも、AlexNet および ResNet の両方で優れた性能を発揮する。

ABSTRACT

Convolutional neural networks (CNNs) with deep architectures have substantially advanced the state-of-the-art in computer vision tasks. However, deep networks are typically resource-intensive and thus difficult to be deployed on mobile devices. Recently, CNNs with binary weights have shown compelling efficiency to the community, whereas the accuracy of such models is usually unsatisfactory in practice. In this paper, we introduce network sketching as a novel technique of pursuing binary-weight CNNs, targeting at more faithful inference and better trade-off for practical applications. Our basic idea is to exploit binary structure directly in pre-trained filter banks and produce binary-weight models via tensor expansion. The whole process can be treated as a coarse-to-fine model approximation, akin to the pencil drawing steps of outlining and shading. To further speedup the generated models, namely the sketches, we also propose an associative implementation of binary tensor convolutions. Experimental results demonstrate that a proper sketch of AlexNet (or ResNet) outperforms the existing binary-weight models by large margins on the ImageNet large scale classification task, while the committed memory for network parameters only exceeds a little.

研究の動機と目的

• バイナリ重みCNNの精度が低いという問題に、特にImageNetのような大規模データセットにおいて対処すること。
• 学習から再び開始することなく、バイナリ重みモデルにおけるより忠実で高精度な推論を可能にすること。
• スケッチにおける精度制御を通じて、モデルの効率性と精度のバランスを柔軟かつ制御可能にすること。
• バイナリテンソル畳み込みの関連的実装を提案することで、推論における計算コストを削減すること。
• 事前学習済みモデルが構造的特徴を活用することで、高精度で低精度のバイナリネットワークに効果的に変換可能であることを示すこと。

提案手法

• 事前学習済みフィルタバンク内に直接バイナリ構造を活用し、テンソル展開を用いて粗いから細かい近似プロセスへと至るバイナリ重みモデルを生成する。
• 2段階の精錬プロトコルを適用する：直接スケッチの後、完全精度重み更新を用いた確率的勾配降下法による微調整を実施し、収束性を向上させる。
• バイナリテンソル畳み込みの関連的実装を提案し、浮動小数点加算・減算（FADDs）の数を削減することで、推論速度を向上させる。
• 鉛筆画（輪郭を描き、その後陰影を加える）に類似した粗いから細かいモデル近似戦略を用い、構造的かつ正確なバイナリ重み割り当てを可能にする。
• 理論的アルゴリズムを用いてスケッチ精度を制御し、精度と効率のバランスを取る。これにより、モデル忠実度とリソース使用量のトレードオフを可能にする。
• 完全精度の事前学習済みモデル（例：AlexNet, ResNet）を、構造的およびパrametric最適化を通じてバイナリ重みバージョンに変換し、性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ重みの制約があるにもかかわらず、ImageNetで顕著な精度低下を伴わずに高い精度を達成できるか？
• RQ2 フィルタバンク内に内在するバイナリ構造を活用することで、事前学習済みモデルを効果的にバイナリ重みネットワークに変換できるか？
• RQ3 スケッチ精度をどのように制御すれば、モデル効率性と精度のより良いトレードオフを達成できるか？
• RQ4 バイナリテンソル畳み込みの関連的実装は、推論中にFLOPsおよびFADDsを顕著に削減できるか？
• RQ5 標準ベンチマークにおいて、BWN や BinaryConnect よりも精度と効率の両面でネットワークスケッチが優れているか？

主な発見

• 微調整済みのAlexNetスケッチは、ImageNetでトップ-1精度55.2%、トップ-5精度78.8%を達成し、BWN や BinaryConnect を上回る。
• ResNet（18層）のスケッチは、トップ-1精度67.8%、トップ-5精度88.4%を達成し、BWNのトップ-1精度60.8%を大きく上回り、パラメータ数も著しく少ない。
• 生成されたスケッチは、ベースラインのバイナリモデルとほとんど同じメモリを要し、AlexNetではパラメータ数が約10.1倍、ResNetでは約7.4倍に削減されている。
• バイナリテンソル畳み込みの関連的実装により、FADDsの数が削減され、精度を損なわず推論効率が向上している。
• 完全精度の重み更新を用いた確率的勾配降下法による微調整は、直接スケッチに比べて収束性が良く、性能向上が見られた。
• ネットワークスケッチは、顕著な精度低下を伴わず大規模データセットで忠実な推論を可能にし、モバイルデプロイメントにおいて強い可能性を示している。