[論文レビュー] Hierarchical Block Sparse Neural Networks

Dharma Teja Vooturi, Dheevatsa Mudigere+1 more|arXiv (Cornell University)|Aug 10, 2018

Advanced Neural Network Applications参考文献 9被引用数 14

ひとこと要約

本稿では、階層的ブロックスパースニューラルネットワーク（HBsNN）を紹介する。これは、複数のレベルのブロックスパースネスを組み合わせることで、モデルの精度と計算パフォーマンスのバランスを取る構造的スパースネスのアプローチである。細かいブロックは高マグニチュードの重みを保持し、粗いブロックはハードウェア効率を向上させるという、流動的で多段階の構造的プルーニングを可能にすることで、極めて構造的なスパースネスよりも高い精度、非構造的スパースネスよりも優れたパフォーマンスを達成する。50%のスパースネスでトップ-1精度75.63%、累積スパースネス87.5%を達成している。

ABSTRACT

Sparse deep neural networks(DNNs) are efficient in both memory and compute when compared to dense DNNs. But due to irregularity in computation of sparse DNNs, their efficiencies are much lower than that of dense DNNs on regular parallel hardware such as TPU. This inefficiency leads to poor/no performance benefits for sparse DNNs. Performance issue for sparse DNNs can be alleviated by bringing structure to the sparsity and leveraging it for improving runtime efficiency. But such structural constraints often lead to suboptimal accuracies. In this work, we jointly address both accuracy and performance of sparse DNNs using our proposed class of sparse neural networks called HBsNN (Hierarchical Block sparse Neural Networks). For a given sparsity, HBsNN models achieve better runtime performance than unstructured sparse models and better accuracy than highly structured sparse models.

研究の動機と目的

• スパースな深層ニューラルネットワーク（DNN）におけるモデル精度とランタイムパフォーマンスのトレードオフを解消すること。
• 非構造的スパースネス（低いハードウェアパフォーマンス）および極めて構造的なスパースネス（低い精度）の限界を克服すること。
• 高マグニチュードのパラメータを維持しつつ、一般ハードウェア上で効率的な計算を可能にするスパースネスフレームワークを設計すること。
• 複数の階層的レベルにわたる柔軟で流動的な構造的スパースネスを実現し、精度と効率の両方を向上させること。

提案手法

• 複数のレベルのブロックスパースネスを層全体に適用する階層的スパースネスフレームワークであるHBsNNを提案。ブロックサイズは（例：32x1、16x1、8x1、4x1、1x1）変動可能。
• 粗いブロック（例：32x1）は計算効率を向上させ、細かいブロック（例：1x1）は精度を維持するための高マグニチュードの重みを保持する多段階プルーニング戦略を採用。
• 累積スパースネスを50%に設定し、階層的スパースネス分布（例：L1で75%、L2で93.75%など）を用いて流動性を確保。
• 1つのブロックスパースネスレベルと1つの非構造的スパースネスレベル（1x1）を組み合わせた準ブロックスパース構成を採用し、パフォーマンスと精度のバランスを図る。
• 標準的なプルーニング・ファインチューニングパイプラインを採用：マグニチュードに基づくプルーニングで50%のパラメータを削除し、その後学習率の段階的低下を伴う18エポックのファインチューニングを実行。
• 計算コストの見積もりに用いるパフォーマンスモデルを設計：$ \text{SpeedUp} = \frac{C_{\text{dense}}}{C_{\text{sparse}}} $、ここで $ C $ は計算コストを表す。

実験結果

リサーチクエスチョン

• RQ1 階層的ブロックスパースネスは、極めて構造的なスパースネスよりも高い精度を達成しつつ、パフォーマンスの利点を維持できるか？
• RQ2 複数の階層的ブロックサイズにスパースネスを分散させることで、モデルの精度と計算効率にどのような影響を与えるか？
• RQ3 固定ブロックスパースネスと比較して、流動的で多段階のスパースネスは、高マグニチュードの重みをどの程度効果的に保持できるか？
• RQ4 準ブロック構成（パフォーマンスのためのブロックスパースネスと精度のための非構造的スパースネスの組み合わせ）は、単独で用いる場合よりも優れた結果をもたらすか？
• RQ5 ブロックサイズとスパースネス分布の選択が、精度と計算効率のトレードオフに与える影響はどの程度か？

主な発見

• HBsNNは、累積スパースネス87.5%で50%のスパースネス条件下でトップ-1精度75.63%を達成。これは、標準的な32x1ブロックスパースネス（74.52%）および非構造的スパースネス（76.42%）を上回る精度を示している。
• 階層的スパースネス分布（例：L1で75%、L2で93.75%、L3で96.875%）を採用した場合、累積スパースネス50%でトップ-1精度が75.63%に向上。構造的流動性の利点が明確に示された。
• 準ブロックスパース構成（例：32x1ブロック + 1x1非構造的）では、50%スパースネスでトップ-1精度75.92%を達成。パフォーマンス要因と精度要因を組み合わせることで、より優れた結果が得られた。
• ブロックサイズを4x1から32x1に増加させると、50%スパースネス条件下でトップ-1精度は75.73%から74.52%に低下。これは、大きなブロックがより多くの高マグニチュードの重みをプルーニングするためである。
• より多くの階層的レベル（例：5レベル）にスパースネスを分散させることで、単一レベルのブロックスパースネスと比較して精度が向上。累積スパースネスが同一の場合、トップ-1精度は74.52%から75.63%に上昇。
• パフォーマンスモデルは、計算コストの低減がスパースネスに比例して進行することを確認。HBsNNの構造的設計により、精度を損なわずに一般ハードウェア上で顕著なスループット向上が実現可能である。