[論文レビュー] Computation on Sparse Neural Networks: an Inspiration for Future Hardware

Fei Sun, Minghai Qin+4 more|ArXiv.org|Apr 24, 2020

Advanced Neural Network Applications参考文献 85被引用数 5

ひとこと要約

この論文は、将来のAIハードウェアの基盤的手法としてスパースなニューラルネットワークを提唱し、計算量の制約（FLOP数が同じ場合）において、大きなスパースモデルが密度の高いモデルを上回ることを主張している。大規模でスパースなモデルは、『重み優位』の領域に位置し、その性能が優れている。本論文では、スパース学習と推論を高速化するため、アルゴリズム、ソフトウェア、専用ハードウェアを一体的に設計することを提唱しており、これにより動画処理、自然言語処理（NLP）、グラフ学習といった複雑なAI課題の効率的かつ効果的な探索が可能になる。

ABSTRACT

Neural network models are widely used in solving many challenging problems, such as computer vision, personalized recommendation, and natural language processing. Those models are very computationally intensive and reach the hardware limit of the existing server and IoT devices. Thus, finding better model architectures with much less amount of computation while maximally preserving the accuracy is a popular research topic. Among various mechanisms that aim to reduce the computation complexity, identifying the zero values in the model weights and in the activations to avoid computing them is a promising direction. In this paper, we summarize the current status of the research on the computation of sparse neural networks, from the perspective of the sparse algorithms, the software frameworks, and the hardware accelerations. We observe that the search for the sparse structure can be a general methodology for high-quality model explorations, in addition to a strategy for high-efficiency model execution. We discuss the model accuracy influenced by the number of weight parameters and the structure of the model. The corresponding models are called to be located in the weight dominated and structure dominated regions, respectively. We show that for practically complicated problems, it is more beneficial to search large and sparse models in the weight dominated region. In order to achieve the goal, new approaches are required to search for proper sparse structures, and new sparse training hardware needs to be developed to facilitate fast iterations of sparse models.

研究の動機と目的

• 視覚、自然言語処理（NLP）、レコメンデーションシステムにおける現代のAIモデルの増大する計算要求に対応すること。
• スパース性を活用することで、精度を損なわずに計算量を削減し、ハードウェアの制限を克服すること。
• 大規模なモデルを剪定するのではなく、直接的にスパースモデルを学習することへのシフトを図り、迅速な反復とスケーラビリティを実現すること。
• 複雑なモデルにおいて90–99％の高いスパース度を達成できる新しいスパース学習用ハードウェアとソフトウェアスタックを開発すること。
• スパース性を、視覚、NLP、レコメンデーションなど多様なAI分野におけるモデル探索の第一の手法として確立すること。

提案手法

• パラメータ数とアーキテクチャに基づいて、モデルの性能を『重み優位』領域と『構造優位』領域に分類すること。
• 『重み優位』領域に位置する大規模なスパースモデルが、同じFLOP数の密度モデルよりも高い精度を達成できることを提唱すること。
• 動的スパース性、スパース活性化、テンソル分解といった構造的スパース性技術を用いて計算量を削減すること。
• ゼロの演算をスキップし、スパースな重みと活性化のメモリアクセスを最適化するハードウェアアクセラレータ（例：EIE、Cnvlutin、SIGMA）を設計すること。
• メモリオーバーヘッドを低減し、スループットを向上させるために、柔軟なルーティングと高いPE利用率を持つスパース学習プラットフォームを設計すること。
• アルゴリズム、ソフトウェア（例：スパースライブラリ）、ハードウェアの一体的設計を活用し、スパースモデルの学習と推論を高速化すること。

実験結果

リサーチクエスチョン

• RQ1 同じFLOP予算に制限された場合、スパースなニューラルネットワークは密度モデルよりも高い精度を達成できるか？
• RQ2 複雑なAIタスクにおいて、大規模なスパースモデルを直接学習する方が、大規模な密度モデルからの剪定よりも効果的である理由は何か？
• RQ3 大規模スケール（例：90–99％のスパース度）でのスパース学習を効率的に行うために、ハードウェアアクセラレータはどのようにアーキテクチャ設計されるべきか？
• RQ4 視覚、NLP、レコメンデーションなど多様なAI分野において、スパース性が一般的なモデル探索手法として果たす役割は何か？
• RQ5 ソフトウェアフレームワークとハードウェアアクセラレータを一体的に設計することで、スパースモデルの迅速な反復開発はどのように可能になるか？

主な発見

• 『重み優位』領域において、同じFLOPs数の条件下でスパースモデルは密度モデルよりも顕著に高い精度を達成する。
• 従来の大きな密度モデルからの剪定では、複雑な問題に対して最適なスパース構造が得られず、直接的なスパースモデル学習が不可欠である。
• EIE、Cnvlutin、SIGMAなどのハードウェアアクセラレータは、ゼロ演算のスキップとメモリアクセスのオーバーヘッド削減により、推論効率を向上させる。
• 高いPE利用率と柔軟なルーティング（例：SIGMAの128×128 Flex-DPE）を持つスパース学習ハードウェアは、大規模スパースモデルの効率的学習を可能にする。
• 動的スパース性と構造的スパース性メカニズムは、入力の類似性と活性化パターンを活用することで、計算量とエネルギー消費を削減する。
• 将来のAIワークロードにおけるスパースニューラルネットワークの潜在能力を最大限に引き出すには、アルゴリズム、ソフトウェア、ハードウェアの一体的設計が不可欠である。